Chapter 1
第1章
Elastic Stack全景

随着人工智能、大数据、云计算、物联网、5G等新技术的发展，数据呈爆炸式增长，并且成为战略性资源。据国际数据公司（IDC）的报告，2030年数据规模将达到2500ZB。此外，思科2022年的报告中指出，视频类型的数据在互联网数据中的比例超过了82%，1s内通过全网的视频数据时长总计达106min。

数据规模高速增长，急需大数据相关的技术对大数据进行获取、存储、管理、处理、分析等。

如何实现海量数据的存储？如何从海量数据中挖掘有价值的信息？如何基于特定规则实现数据的聚合？如何确保海量数据的安全、容灾、可扩展及高可用？这些都离不开大数据技术。在大数据领域，2010年开源的Elasticsearch一枝独秀。它多年来一直占据开源搜索引擎领域的榜首，并且根据DB-Engines排名来看，它的受欢迎程度也很高，如图1-1所示。Elasticsearch在国内外各大中小型企业的大数据领域都有非常广泛的应用。

正如Elasticsearch官方文档所介绍的，搜索是许多体验的基础，从查找文档到监测基础设施，再到系统保护免受安全威胁，都离不开搜索。

Elastic在强大的Elastic Stack堆栈中集成了三大解决方案，无论在云端，还是裸机，均可部署，可帮助用户从任何类型的数据中快速获得洞察，并用于实践。

1.1 Elasticsearch的过去、现在和未来

“以史为鉴，可以知兴替。”现在，Elastic旗下软件的累计下载量超过2.5亿次、拥有了超过100000名用户。了解Elastic公司及Elasticsearch的发展史，能帮助我们了解大数据的发展历史。从“菜谱”式检索的小需求场景，到惠及亿万大众、覆盖众多垂直细分市场的整体解决方案；从几人小团队到遍布全球的国际化互联网公司；从一个开源软件到缔造了商业奇迹的上市公司……Elastic公司及其产品Elasticsearch有太多值得我们学习的地方。

1.1.1 Elasticsearch的过去

Lucene开源软件项目于1999年首次发布，并于2005年成为Apache基金会项目。Lucene项目发布了一个核心搜索库——Lucene Core，以及一个用Python封装的Lucene库——PyLucene。其中，Lucene Core是一个Java库，提供强大的索引和搜索功能，以及拼写检查、命中高亮显示、高级分析和标记化功能。此外，Lucene通过一个简单的API提供了强大的功能，支持可扩展的高性能索引；提供了强大、准确、高效的搜索算法，支持跨平台解决方案。

2004年，待业工程师Shay Banon与自己的新婚妻子来到伦敦。妻子想在伦敦学习做一名厨师，而Shay Banon则想为妻子开发一个方便搜索菜谱的应用，所以他接触了Lucene（Apache软件基金会下一个开放源代码的全文检索引擎工具包）。但是直接使用Lucene构建搜索应用有很多问题，包含大量重复性的工作，所以Shay Banon便在Lucene的基础上不断地进行抽象，让Java程序嵌入变得更容易。经过一段时间的打磨，Shay Banon的第一个开源作品——Compass（指南针）便诞生了。而Compass就是Elasticsearch的前身。

之后，Shay Banon找到了一份面向高性能分布式开发环境的新工作。在工作中他越来越需要一个易用、高性能、实时、分布式的搜索服务。因此，在设计Compass的第三个版本时，他意识到有必要基于分布式解决方案重写Compass的大部分内容。重写的过程中，他使用了基于HTTP的RESTful API。这样，只需要构造REST请求并解析返回的JSON格式数据，即可实现数据访问和交互。重写后的Compass从一个库变成了一个独立的服务器，适配多种编程语言。Shay Banon将其改名为Elasticsearch，并于2010年2月公开发布了第一个版本。

开源的Elasticsearch一经推出，便引起了十分热烈的公众反响。由于使用量急速攀升，Elasticsearch开始有了自己的社区，并引起了人们的高度关注。其中Steven Schuurman、Uri Boness和Simon Willnauer基于对该产品的浓厚兴趣，与Shay Banon共同组建了一家专门研究搜索技术的公司，即Elastic公司。这时是Elastic公司的初创阶段。

在这个时间段，另外两个开源项目也正在跨越式发展。一个是Jordan Sissel开发的一款开源的可插拔数据采集工具——Logstash，它可将日志文件发送至用户选择的存储库。另一个是Rashid Khan开发的开源数据可视化UI——Kibana。Shay Banon、Jordan Sissel和Rashid Khan彼此已认识一段时间，对各自的产品也颇为了解，所以他们最终决定携手发展。至此，ELK Stack的雏形正式面世。ELK Stack就是Elasticsearch、Logstash和Kibana技术栈的组合体。

随着时间的推移，Elastic公司逐步扩充了产品线。在Elasticsearch的基础上，公司开发并推出了两个商业插件：一是Marvel，这是一个监控工具，帮助用户对Elasticsearch进行实时监测，以确保其稳定和高效运行；二是Shield，它提供了安全防护功能，包括加密、认证和权限控制等，保障了数据的安全性。这两个插件在2019年并入了开源的X-Pack。X-Pack包含了一系列强大的功能，比如安全、警报、监控、报告和图形等，为Elastic Stack带来了更全面的企业级特性。

2015年，受柏林PacketBeat公司的启发，Elastic公司开发了一系列单一用途的轻量化数据传送工具，以将网络数据、日志、指标、审计数据等从边缘机器传输到Logstash和Elasticsearch。Beats应运而生了。至此，ELK Stack升级为Elastic Stack，如图1-2所示。

2015年，Elasticsearch公司更名为Elastic，新的品牌名称能够更好地代表逐渐扩大的产品生态系统和用例套件。与此同时，Elastic公司在AWS上与提供Elasticsearch主机托管服务的公司Found实现了合作。通过这一合作，Elastic能够提供市场上最方便、最全面的产品组合。

2017年6月，Elastic并购了位于哥本哈根的应用程序性能监测APM公司——Opbeat，以及位于旧金山的站点和企业搜索公司——Swiftype。然后Elastic公司开始考虑正式推出整体解决方案服务。每套解决方案背后都有实际产品作为支撑，而且在短短几分钟内即可部署完毕。

Elastic公司于2018年6月提交了首次公开募股申请，估值在15亿～30亿美元之间，并于2018年10月5日在纽约证券交易所挂牌上市。

Elasticsearch产品从2010年开始，经历了数次重大版本升级，以确保能够适应不断变化的需求和技术环境。

1.1.2 Elasticsearch的现在

围绕着追求极致性能和绝佳用户体验，Elastic公司旗下产品追求的一直是“快”。

一方面是检索速度快，这是Elastic公司的根基产品Elasticsearch发展的动力之源。另一方面是版本更迭快，Elasticsearch几乎每个月都会发布一个小版本，而大版本也已经由0.X更新到现在的8.X。

作为Elastic Stack的开发公司，Elastic公司产品支持的搜索范围从股票行情到Twitter消息流，从Apache日志到WordPress博文，不但让用户体验了强大的搜索功能，而且帮助用户以截然不同的方式探索和分析数据。

作为一个强大的分布式搜索引擎，Elastic数据平台可以实现精准匹配、模糊查询、联想查询、布尔组合检索及自定义评分检索等，而不仅仅是进行全文快速检索。例如，用户业务数据中存在地理位置信息，并叠加了其他的多维数据，Elastic数据平台可以采用新型的数据结构进行存储，从而实现高效检索；当用户的手机端应用遇到线上高并发的问题时，Elastic数据平台也可以快速拉起多个协调节点应对数据高峰，且不会因此产生性能问题；在面对企业内部日志时，Elastic数据平台先用数据收集器Beats进行统一管理，使用预置或定制的数据模型进行分析，再通过Kibana呈现给终端用户。此外，以各类事件信息为基础，Elastic数据平台提供了目前市场上独有的APM应用性能管理体系，可通过对全量数据的串联分析轻松发现应用的性能瓶颈。

目前，Elastic数据平台已广泛应用于各行各业，其中包括eBay、Meta（以前称为Facebook）、Uber、微软、思科、大众汽车、携程、招商银行、联想等公司，以及众多政府机构。在开源产品的核心功能之上，Elastic数据平台为用户提供系统安全、数据告警、全栈监控、报表分析、图查询和机器学习六大付费商业化的功能。以数据告警为例，Elastic数据平台提供了基于时序性数据的告警、集群全局监控和自动生成报表等功能，能帮助用户迅速完成分析并做出决策，使其最大程度止损。Elastic数据平台的机器学习及图查询功能可以自动检测当前数据中的异常情况，逐级追溯至底层数据，厘清数据关联，再将其以图的形式展示给用户。基于这六大功能，Elastic数据平台在搜索、地理位置、内部日志、数据指标、安全监控和APM应用性能管理等场景中的应用颇具亮点。

为帮助订阅用户充分利用这些强大特性，Elastic不仅为套件内的商业特性提供指导，还提供了开源部分的集群架构设计、索引分片设计和集群整体性能优化等服务。Elastic通过专家咨询服务团队，帮助客户将数据平台与自身业务快速融合，更提供了极具弹性的企业云服务，通过与微软Azure、AWS、阿里云、腾讯云等合作，为用户业务的快速增长保驾护航。Elastic企业云可对资源进行全局管理，迅速完成单节点的纵向扩容或多个集群间的横向扩容，不仅大大简化了系统架构，提升了硬件利用率，满足了业务增长需求，更凭借完善的安全机制和可靠的性能隔离策略最大化地利用了资源，直接节省了运营费用。

1.1.3 Elasticsearch的未来

Elastic公司除了从日志监控、APM、企业搜索、网站搜索、业务分析等不同维度为企业或个人提供服务以外，还由原来的Elasticsearch检索工具供应商转变为Elastic Stack解决方案提供商。面对未来，Elastic提出了“3+1”战略，1代表的是Elastic Stack，3代表的是搜索、可观察性和安全。该战略是指基于Elastic Stack，对企业搜索、全方位的可观察性、安全这3个核心业务场景发力。

其中，企业搜索是常见场景，不必多说。而可观察性是指围绕企业基础设施数据进行观察，实现日志、指标、APM的一体化。安全则是Elastic公司重点发力的一个方向。在这方面，Elastic公司同样是一个颠覆者。Elastic公司是业界第一个提供开源免费的终端安全防护解决方案的厂商，最近还发布了自己的开源检测规则库。开放、透明和社区协作将是未来应对大规模安全威胁的不二选择，企业能够借助Elastic的SIEM（安全信息和事件管理）和终端防护方案，打造自己的SOC（安全运营中心）团队，保护企业的数字资产。

在大数据和AI的新时代，一种名为向量检索的技术正在改变我们对搜索的理解和使用。向量检索是指将文本（如单词、短语或文档）、图像、语音或视频等多模态数据转化为数字向量，并在向量空间中进行比较和检索以发现其相关性。这种技术允许我们在多模态场景中实现深度语义理解和高效检索，因此在搜索和推荐等领域有着广泛的应用。

基于该背景，Elastic公司经过两年精心研发，推出了一个全新特性ESRE（Elasticsearch Relevance Engine，最早发布于Elasticsearch 8.8版本）。它是一款基于AI的搜索引擎，实现开箱即用的卓越语义搜索。ESRE的出现，使强大的AI功能与Elasticsearch杰出的多模态搜索能力结合，开创了新的可能。

ESRE的核心能力之一就是利用向量检索来创建、存储和搜索密集向量嵌入，这使得开发者可以通过大型语言模型（LLM）进行更深层次的语义理解和相关性排序。

ESRE还支持开发者使用自有的转换器模型或第三方模型，例如OpenAI的GPT-3和GPT-4，以满足具体业务场景的需求。这种灵活性使得ESRE不仅可以作为强大的搜索工具，还可以作为一种可定制的平台方案满足特定需求。

在提升搜索结果相关性的关键任务上，ESRE的潜力显而易见。其先进的相关性算法可以大幅提高用户参与度，带来收入增长和生产力提升。在大型语言模型和生成式AI的新时代，ESRE能以前所未有的精度响应用户需求，为用户带来高满意度的搜索体验。

对于自然语言搜索的挑战，ESRE也提供了有效的解决方案。它可以方便地从私有源集成数据，让AI模型具备更多的领域知识，以便提供更为相关的业务信息。

总的来说，ESRE的推出不仅标志着Elasticsearch的未来发展方向，也为开发人员提供了一款功能强大、兼容性良好且应用前景广阔的AI搜索引擎。

1.2 Elastic Stack组成

1.2.1 Elasticsearch概览

Elastic Stack由Logstash、Beats、Elasticsearch和Kibana四大核心产品组成，在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。

Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎，基于Java编程语言构建，可以在主流硬件平台上运行。在存储、计算和分析方面，Elasticsearch允许执行和合并多种类型的搜索，适用于不断涌现的各种新用例，并在充分保障集群安全的前提下具有极高的可用性及容错性。

近期，Elasticsearch官方网站的宣传语发生变化，由原来的“You know，for search”改成“You know，for search（and analysis）”。这是因为Elasticsearch能为几乎所有类型的数据提供高效的存储和索引、近实时的搜索和分析。这些数据类型包含但不限于结构化文本、非结构化文本、数值数据、地理空间数据等。

Elasticsearch的分布式特性、横向扩展能力可以应对数据和查询量增长的情况。尽管并非所有问题都是搜索问题，但Elasticsearch仍然具备出色的在各种用例中处理数据的速度和灵活性。2022年，在Elastic全球社区大会上，Elastic公司创始人Shay Banon提出了“index everything”（一切皆可索引和检索）的理念。他倡导将所有类型的数据纳入索引，使之可以被搜索和分析，从而赋予数据更多价值。这体现了Elastic公司始终秉持的创新精神。尽管Elastic公司已经取得了显著的成就，但该公司仍然富有激情，怀揣着大有可为的愿景，以灵活变化的姿态去拥抱不断发展的技术领域。

Elasticsearch的特点可以概括如下。

1）使用简单的RESTful API，天然兼容多语言开发。

2）支持水平横向扩展节点，通过增加节点来实现负载均衡及增强集群可靠性。

3）面向文档，不使用“表”来存储数据，而使用“文档”来存储数据。

4）无模式，无须定义好字段类型、长度等，可以直接导入文档数据。

5）近实时存储，使每个字段都被索引且可用于搜索。

6）响应快，海量数据下能实现秒级响应速度。

7）易扩展，支持处理PB级的结构化或非结构化数据。

8）多租户，支持多个业务共用Elasticsearch服务，并且确保各业务间数据的隔离性。

9）支持多种编程语言，包含但不限于Java、Python、C#、PHP、Python、Ruby等。

Elasticsearch和Lucene的对比如表1-1所示。

Lucene的工作模式类似于“自己亲手种植蔬菜”，开发者使用它可以获得更多的控制权，但带来的问题是开发人员要花费更多的精力去维护。相比之下，Elasticsearch的工作模式则类似于“去超市购买蔬菜”，明显效率会更高。

1.2.2 Logstash概览

Logstash和Beats作为底层核心引擎，共同组成了数据摄取平台，可以实现数据标准化，使数据便于后续分析使用。其中，Logstash提供免费且开放的服务器端数据处理管道（pipeline），能够从多个不同的数据源采集数据、转换数据，然后将数据发送到诸如Elasticsearch等“存储库”中。

Logstash过滤器（filter）能够解析各个事件，以自定义的规则识别已命名的字段，并将它们转换成通用格式，以便对其进行更强大的分析并实现商业价值。除Elasticsearch之外，Logstash还提供了众多输出选择，我们可以将数据发送到业务需要的许多地方，如MySQL、Kafka、Redis等。

这都有赖于Logstash的可插拔框架。Logstash支持logstash_input_jdbc、logstash_input_kafka、logstash_output_elasticsearch等200多个插件，可以将不同类型的输入数据通过输入、过滤、输出这“三段论模板”进行灵活配置，以满足不同业务场景的需求。

1.2.3 Kibana概览

Kibana是一个免费且开放的工具。用户使用Kibana工具可以实现Elasticsearch数据可视化分析。Kibana作为用户界面的核心，集成了丰富的可视化工具、界面交互开发工具和管理工具，可以辅助技术人员进行开发、调试和运维工作，并可以自定义各种维度的数据报表。

除此之外，Kibana还是可视化的安全和监控平台，可以监控Elasticsearch集群的各项运维指标，让用户直观地看到集群各项指标的实时运行状态和历史变化曲线，帮助用户防患于未然。Kibana甚至还能通过机器学习来监测数据中的隐藏异常，并追溯其来源。

1.2.4 Beats概览

Beats是一个免费且开放的平台，集合了多种单一用途的数据采集器，使数据从成百上千或成千上万台的机器和系统向Logstash或Elasticsearch发送。这些数据采集器包含轻量型日志采集器Filebeat、轻量型指标采集器Metricbeat、轻量型网络数据采集器Packetbeat等。Beats所具有的可扩展的框架及丰富的预置采集器将使数据采集工作事半功倍。

综上，以这四大核心产品为基础构建的Elastic数据平台实现了数据实时性、相关性及扩展性的完美结合，不仅可以处理各种数据，还能深入挖掘数据的内在关联并迅速进行呈现，彻底解决了企业的大数据实时处理难题。

1.3 Elastic Stack的应用场景

刚接触Elastic Stack的人很可能会有这样的疑问：除了搜索功能以外，Elastic Stack在实际应用场景中还有哪些用途？

在最近的某次咨询服务中，笔者曾被问到一个问题：在关于ETC卡口的数据存储、车流量分析、车辆路线分析及可视化的业务场景中，适合采用Elastic Stack吗？

上述问题均涉及Elastic Stack的应用场景这一话题。

如图1-3所示，Elastic Stack在全文检索、产品检索、JSON文档存储、数据聚合、坐标与地理位置检索、指标统计和分析、自动补全、自动推荐、安全分析等领域都有广泛的应用。我们将其划分为全文检索、日志分析、商业智能3类核心应用场景。

1.3.1 全文检索场景

首先，Elasticsearch支持各类应用、网站等的全文搜索，包括淘宝、京东等电商平台的搜索，360手机助手、豌豆荚等应用市场平台的搜索，以及腾讯文档、石墨文档等平台的全文检索服务。

其次，Elasticsearch支持用户通过自定义打分、自定义排序、高亮等机制召回期望的结果数据，通过跨机房/跨机架感知、异地容灾等策略，为用户提供高可用、高并发、低延时、用户体验好的搜索服务。

许多知名企业，如阿里巴巴、腾讯、携程、滴滴出行、美团、字节跳动、贝壳找房等，都将Elasticsearch作为关键技术之一，以提升用户体验和满足业务需求。

1.3.2 日志分析场景

Elasticsearch支持的日志包含但不限于如下类型。

❑用户行为日志、应用日志等业务日志。

❑慢查询、异常探测等状态日志。

❑Debug、Info、WARN、ERROR、FATAL等不同等级的系统日志。

基于倒排索引技术，Elasticsearch能够实现高效且灵活的搜索分析功能。从产生日志到生成相应的倒排索引并将其写入Elasticsearch，再到最终用户可以访问这些信息，整个过程所需时间仅为秒级。这确保了Elasticsearch能够快速处理和检索大量数据，满足实时搜索和分析的需求。

许多知名企业，如58集团、唯品会、日志易、国投瑞银等，都使用Elasticsearch来快速分析和处理大量的日志数据，从而对业务运行状况进行实时的监控和故障排查。

1.3.3 商业智能场景

大型业务数据给电子商务、移动App开发、广告媒体等领域的企业的数据收集和数据分析带来了巨大的挑战。而Elasticsearch具有结构化查询功能，能实现全文数据检索和聚合分析，所以能有效帮助客户对上述大数据进行高效且个性化的分析，进而发现问题、辅助业务决策，并从数据中挖掘真正的商业价值。

许多知名企业的商业智能系统，如睿思BI、百度数据可视化Sugar BI、永洪BI等，都借助Elasticsearch的高效、实时的数据分析和可视化能力，帮助企业更好地理解市场趋势、优化决策过程。

1.4 Elasticsearch竞品分析

在实际项目中，当传统的关系型数据库或者已有大数据技术栈无法满足低延时、高并发的检索需求的时候，技术人员往往会提出“使用Elastic Stack来实现检索功能或解决性能问题”的想法。但是在线上业务环境使用新的技术栈涉及整个产品线架构层面，是公司高层集体决策的结果，技术栈选型需要由技术预研报告支撑。而技术预研报告的核心部分之一是竞品分析。

传统的竞品分析一般从产品发展历程、适用场景、优势、劣势等多个维度展开，这需要花费较长时间根据自己公司的业务情况进行调研。下面我们来简单介绍下Elasticsearch的主要竞品。

1.4.1 Apache Solr

Apache Solr是建立在Lucene基础上的开源搜索服务器，它通过HTTP请求来提供Lucene的所有搜索功能。Apache Solr具有强大的功能，例如分布式全文搜索、近实时索引、高可用性、NoSQL功能、与Hadoop等大数据工具的集成，以及处理Word和PDF等富文本文档的能力。Elasticsearch与Apache Solr的对比如表1-2所示。

1.4.2 Splunk

Splunk自2003年发布以来，已经成为一个强大、可靠且可扩展的商业数据平台，用于探索、监控、分析和处理各类数据。然而，Splunk并非开源工具，因此我们无法在市场上免费获取它。Splunk在诸多应用场景中发挥了显著作用。例如，在大数据分析、IT运营管理、安全威胁检测以及业务和网络监控等领域，Splunk都提供了强大的数据处理和实时洞察功能。基于灵活处理及分析海量数据的能力，Splunk已经成为许多企业和团队优化决策、提升运营效率的重要工具。

1.4.3 OpenSearch

OpenSearch是由AWS（Amazon Web Services）发起并维护的开源搜索和分析套件。OpenSearch提供了与Elasticsearch相同的功能和完全向后兼容的API，让用户可以自由地将技术栈从Elasticsearch迁移到OpenSearch。与商业版Elasticsearch不同，OpenSearch的所有功能都是免费的。

OpenSearch的优点如下。

❑OpenSearch是Elasticsearch 7.10的一个分支，与Elasticsearch的API兼容，易于迁移。

❑OpenSearch是完全开源的，没有任何商业许可限制。

❑OpenSearch集成了Elasticsearch和Kibana的全部功能，并且承诺未来所有功能均免费。

OpenSearch的缺点如下。

❑尽管Amazon能提供强大支持，但OpenSearch的社区仍不如Elasticsearch的成熟。

❑目前来看，OpenSearch的版本更新相较于Elasticsearch会慢一些。

从适用场景来看，OpenSearch适用于需要使用Elasticsearch功能但不接受商业授权限制的企业及业务。

1.4.4 Doris

Doris是一款由百度开源的MPP（大规模并行处理）架构的分布式数据仓库，用于提供快速、高并发的在线查询分析服务。Doris能够满足百度内部多种业务场景的复杂查询需求。Doris支持MySQL协议，可以直接通过MySQL客户端进行访问，同时支持多种数据导入方式，如批量导入、实时导入等。

Doris的优点如下。

❑具有高并发、低延迟的查询性能，适合实时OLAP场景。

❑通过列式存储和向量化计算，Doris能够在PB级别的数据量上提供高效的查询服务。

❑具备良好的水平扩展性，能根据业务需求进行动态扩展。

Doris的缺点如下。

❑Doris的社区规模和活跃度不如Elasticsearch，用户获得的技术支持可能有限。

❑作为一个数据仓库，Doris在全文搜索和实时数据索引方面的能力不如Elasticsearch。

Doris适用于大数据实时查询分析的场景，如数据仓库、大数据报表等。

1.4.5 ClickHouse

ClickHouse是一款由俄罗斯搜索引擎Yandex开发并开源的列式存储数据库，专为OLAP（在线分析处理）场景设计。ClickHouse具有高速查询分析的能力，支持实时添加数据和修改结构，并且能够实现高度数据压缩比，从而有效节省存储空间。此外，ClickHouse支持SQL查询，易于使用和集成。

ClickHouse的优点如下。

❑可以实现高速查询性能和实时数据插入，适用于OLAP场景。

❑通过列式存储和数据压缩，ClickHouse能够高效地存储和处理大量数据。

❑提供了丰富的数据分析功能，如窗口函数、数组和嵌套数据类型等。

ClickHouse的缺点如下。

❑ClickHouse的全文搜索和实时数据索引能力不如Elasticsearch。

❑作为一个数据分析系统，ClickHouse在处理复杂业务逻辑和进行事务处理方面可能不如传统的关系型数据库。

ClickHouse适用于大数据实时查询和分析的场景，如日志分析、用户行为分析等。

1.5 本章小结

为了便于理解和记忆，下面我们将本章所述的内容串联起来，如图1-4所示。