请选择 进入手机版 | 继续访问电脑版

Elastic Stack:ELK

[复制链接]
小小海 发表于 2021-1-1 18:33:09 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
文章目次



一、存储系统分类

1.1 非布局化存储

界说:指不定长或无固定格式的数据,如邮件,word文档等
1.1.1 常见使用设备

  1. ①Block:需要分区,格式化,不支持多个节点挂载使用。rbd(Ceph)②Filesystem:NFS,HDFS(hadoop Filesystem),FastDFS(轻量级,适用于存储图片),输出的API已经是文件了,支持多个节点挂载使用
复制代码
1.2 半布局化存储

界说:非关系模子的、有根本固定布局模式的数据,比方日志文件、XML文档、JSON文档、Email等
流派:
  1. K/V存储  :redis,TiKV(原生K/V存储系统)Document存储:MongoDB,CahceDB,ElastcSearch:每个数据项自带的字段和值,可以后期添加字段和值,还可以嵌套值,---> 文档(Document)Colume Family存储:HBase (Hadoop Database)GraphDB:图式存储:Neo4j
复制代码
1.3 布局化存储

界说:指具有固定格式或有限长度的数据,如数据库,元数据等
特点:
  1. ① TiDB: 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、尺度 SQL、MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不光适合 OLTP 场景还适OLAP 场景的混淆数据库②shema要求严格
复制代码
二、 ELK日志分析系统组成

2.3.1 ElasticSearch

ElasticSearch界说: Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。
2.3.2 Logstash和Filebeat

Logstash界说: 会集、转换和存储数据
Filebeat界说: 轻量型日志收罗器;从安全设备、云、容器、主机照旧 OT 举行数据收集,Filebeat 都会提供一种轻量型方法,用于转发和汇总日志与文件
Filebeat是Beats中的一个组件,以下是Beats的先容以及组件组件构成:
先容: beats组件是一系列用于收罗数据的轻量级代理步伐,用于从服务端收集日志、网络、监控数据,并最终汇总到elasticsearch。beats组件收集的数据即可以直接上报给elasticsearch,也可以通过logstash中转处理后上报给elasticsearc。
beats根据功能分别有多种组件:
PacketBeat:用于分析和收集服务器的网络包数据;
Heartbeat:主要是检测服务或主机是否正常运行或存活,Heartbeat 可以大概通过 ICMP、TCP 和 HTTP 举行 ping 检测;
FileBeat:主要用于转发和会集日志数据。Filebeat作为代理安装在服务器上,监督您指定的日志文件或位置,收集日志事件,并将它们转发到ElasticSearch或Logstash举行索引;
MetricBeat:定期收集利用系统、软件或服务的指标数据,支持收集的module非常多,常用的有docker、kafka、mysql、nginx、redis、zookeeper等等
Packetbeat:是一款轻量型网络数据包分析器,Packetbeat的工作原理是捕捉应用步伐服务器之间的网络流量,解码应用步伐层协议(HTTP,MySQL,Redis等)
Auditbeat 允许您在 Linux、macOS 和 Windows 平台上仔细监控任何您感兴趣的文件目次。文件改变会被实时发送到 Elasticsearch,每条消息都包罗元数据和文件内容的加密哈希信息,以便后续进一步分析;
Topbeat:搜集系统,进程和文件系统级别的CPU和内存使用情况,已经被Metricbeat取代;
WinlogBeat:用于收集windows系统的event log;
2.3.3 Kibana

界说: Kibana 是为 Elasticsearch设计的开源分析和可视化平台
三、ELK日志分析系统简介


搜索组件和索引组件的关系和过程逻辑:
上图中以index为分界限,分为两个部门,上面半部门为搜索组件,下面半部门为索引组件
1.搜索组件(Search component):面向客户端;用户输入搜索关键词,帮助用户查询索引中的索引数据并向用户返回效果;
1.1 user:用户
1.2 Search User interface :用户搜索界面(API接口),通常会使用 http restful风格 ,使用curl下令即可发起请求
1.3 Bulid Query:将用户的搜索 转化为搜索查询语句,由build query 构建成为查询语句,搜索时提供关键词即可
1.4 Run Query:构建查询在index的接口之上完成查询效果
1.5 Render Results:展示查询效果
2.索引组件:(index component):
2.1 Acquire Content:获取数据;注意这里获取到数据要将数据举行ETL处理,ETL是指数据导入方式:抽取(export)、转换文档格式(transfrom)、转入(load)
2.1.1 数据的泉源
  1. ①私网内的数据②爬虫:互联网爬来的所有数据
复制代码
2.2Build Document :创建成为文档
2.3 Analyze Document :文档分析,主要是切词的过程


来源:https://blog.csdn.net/weixin_50620220/article/details/111937364
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )