ELK简介 ELK即Elasticsearch + Logstash + Kibana 分布式日志分析系统中的三大组件，结合轻量级的filebeat收集日志信息，可以搭建一套分布式日志分析系统堆栈。 Elasticsearch是开源的高可伸缩可扩展分布式的全文搜索和分析引擎，底层基于Apache Lucene，允许你快速实时地存储、搜索、分析海量数据，通过restfulAPI向外提供服务。 Logstash是开源的具有实时管道数据收集功能的软件，可以从各种各样的数据源中收集数据并过滤处理，使数据统一标准化、再发送至目标。 Kibana是开源的基于Elasticsearch的数据可视化分析平台，本身就是一个web服务器，可以很方便地制作直方图、表格、扇形图、地域分布等报表。 filebeat是go语音写的轻量级日志文件搬运工，占用资源极低，一般在需要收集日志的服务器上仅仅安装filebeat即可，它的主要工作是对配置中指定的日志文件进行定时扫描，发现有新日志写入，马上读取新内容发送至logstash或elasticsearch。 总体实现的功能有：实时全文搜索所有日志信息，根据不同服务器来源的web访问日志进行并发、流量、错误码占比分析、用户地域分布、热点URI、热点IP、活跃用户等信息统计。 Elasticsearch应用场景： 一个商品网站，用户可以通过关键字搜索商品信息，比如通过商家、商品名等； 收集日志进行实时分析和搜索，并通过kibana展示指标信息； 商品价格提醒，例如实现这样的需求：用户希望某个商品价格低于30元时收到通知提醒。 部署说明 本文档部署环境为centos7-64bit，ELK版本为6.x系列，只有相同版本系列的组件才能相互搭配使用。 使用filebeat作为轻量级收割机收集日志，Redis队列作为filebeat与logstash的中间件,nginx反向代理作为kibana访问鉴权,Elasticsearch存储数据，logstash作为过滤器。 […]