手把手教你通过 ELK 搭建实时日志分析平台

百家 作者:QingCloud 2017-10-26 12:02:02


日志时时刻刻记录着操作系统、应用服务、业务逻辑等情景下不断产生的数据,根据不完全统计,全球每天大约要产生  2 EB 日志数据,面对如此海量的数据,在需要查找一些重要的信息时,一套集中式日志管理系统显得尤为重要。


日志管理相关的工具、产品和服务有很多:Rsyslog、Syslog-ng、商业化的 Splunk、FaceBook 的 Scribe,Apache 的 Chukwa,Linkedin 的 Kafak,Cloudera 的 Fluentd,Elastic 的 ELK 等等。


其中,开源的 ELK 架构在最近两年迅速崛起,成为机器数据分析、实时日志处理领域,开源界的第一选择。简单来说,ELK 是 Elasticsearch、 Logstash 和 Kibana 这三个软件集合的简称:


  • Elasticsearch 是一个实时分布式搜索和分析引擎

  • Logstash 为用户提供数据采集、转换、优化和输出的能力

  • Kibana 则为 Elasticsearch 提供了强大的可视化界面


11 月 8 日,青云QingCloud 工程师彭科、东升,将从技术角度分享,如何快速搭建 ELK 实时日志分析平台。

本次课程具体内容如下:


  • ELK 是什么,为什么要使用 ELK;

  • ELK 技术栈介绍;

  • 日常使用 ELK 中遇见的那些坑;

  • 青云QingCloud ELK 日志分析平台实践;

  • 高并发环境下的 ELK 相关优化;


    彭科 青云QingCloud 大数据产品工程师


    彭科,青云QingCloud 大数据产品工程师,曾就职于烽火通信,负责预研大数据技术和 NFV 平台开发,曾就职于武汉斗鱼,负责基于大数据技术的日志系统研发与运维。目前在青云QingCloud 主要负责大数据平台产品相关开发,熟悉各种常见开源大数据开源组件及大数据架构,精通 Elastic Stack、Kafka、RabbitMQ 等开源技术,喜欢研究开源大数据技术选型与技术架构。


    东升 青云QingCloud 大数据产品工程师


    东升,青云QingCloud 大数据产品工程师,曾就职于汇智软件,负责汇智智慧园区解决方案中数据服务总线平台及流媒体统一接入系统开发,曾就职于华云数据,负责监控作业平台开发。目前在青云QingCloud 主要负责 ELK、k8s 相关产品开发,熟悉物联网通信协议 MQTTv3.1.1、分布式一致性算法 Raft、高性能 Web 平台 OpenResty,热爱开源技术,喜欢研究各种底层技术,目前对 BPF 相关技术有极大的兴趣。


    带上所有关于 ELK 的问题,来听课吧~


    - FIN -


    关注公众号:拾黑(shiheibook)了解更多

    [广告]赞助链接:

    四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
    让资讯触达的更精准有趣:https://www.0xu.cn/

    公众号 关注网络尖刀微信公众号
    随时掌握互联网精彩
    赞助链接