| 基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现 |
| |
| 引用本文： | 阮晓龙,贺路路.基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现[J].教育技术导刊,2020,19(6):150-154. |
| |
| 作者姓名： | 阮晓龙 贺路路 |
| |
| 作者单位： | 1.河南中医药大学 信息技术学院，河南 郑州 450046；2. 郑州祺石信息技术有限公司，河南 郑州 450001 |
| |
| 摘 要： | 基于 ELK 在智慧运维大数据分析平台实现海量数据分析，对 ELK 的部署结构进行优化，并在日志采集和日志处理中间增加 Kafka 消息处理队列，减轻 Logstash 压力，增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分，将拆分后的字段在 Elasticsearch 中存储，最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题，同时在数据处理上实现了接近 1s的延迟搜索。
|
| 关 键 词： | ELK Kafka 日志分析 大数据 流式数据 |
| 收稿时间： | 2019-10-10 |
Research and Implementation of Intelligent Operation and Data Big Data Analysis Platform Based on ELK+Kafka |
| |
| RUAN Xiao-long,HE Lu-lu.Research and Implementation of Intelligent Operation and Data Big Data Analysis Platform Based on ELK+Kafka[J].Introduction of Educational Technology,2020,19(6):150-154. |
| |
| Authors: | RUAN Xiao-long HE Lu-lu |
| |
| Institution: | 1. School of Information Technology，Henan University of Chinese Medicine，Zhenzhou 450046，China； 2. Zhengzhou Qishi Information Technology Co.，Ltd.，Zhenzhou 450001，China |
| |
| Abstract: | Intelligent operations and maintenance data analysis platform based on ELK is used to analyze the massive running data of data center，optimize the deployment structure of ELK during system operation，add Kafka message processing queue between log collection and log processing and alleviate Logstash pressure and increase cluster high availability. Through the filter plug-in of Logstash， regular expression is used to split the log data，and the split fields are stored in elastic search. Finally，Kibana is used to search，plot and display the log data. The intelligent operation and maintenance data platform based on ELK solves the problems of log acquisition，log processing and log visualization in the process of operation and maintenance，and achieves nearly 1s of delayed search in data processing. |
| |
| Keywords: | ELK Kafka log analysis big data streaming data |
|
| 点击此处可从《教育技术导刊》浏览原始摘要信息 |
| 点击此处可从《教育技术导刊》下载免费的PDF全文 |
