Elasticsearch 语义搜索及 AI Agents 开发

主题演讲
  • 刘晓国 Elastic 中国社区首席布道师

    现为 Elastic 中国社区首席布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织 (Linux for ARM),Ubuntu,Vantiq 等企业。从事过电脑设计,汽车电子,计算机操作系统,通信,云实时事件处理等。从爱立信开始,诺基亚,Ubuntu 到现在的 Elastic,从事社区工作有将近 20 年的经历。喜欢分享自己所学到的知识。坚信帮助别人就是帮助自己。希望和大家一起分享及学习。欢迎大家来参阅 Elastic 官方中文博客 elasticstack.blog.csdn.net

    liu-xiao-guo

摘要

详细介绍 Elasticsearch 语义搜索及最新的进展。使用具体的例子来展示如何使用向量(稀疏向量,密集向量)搜索来进行语义搜索。展示如何使用 Elastic 的 AI Agent builder 来轻松创建 agents,并使用 MCP 及 A2A 协议来完成 agents 的集成。

详情

Elasticsearch 是全球应用最广泛的搜索引擎之一。随着人工智能技术的发展,Elasticsearch 引入了向量搜索能力(包括密集向量与稀疏向量),以支持更强大的语义搜索。更重要的是,Elasticsearch 提供了混合搜索(BM25 + 向量搜索)能力。Elastic 的混合搜索将传统基于关键词的搜索(包括灵活的查询语法、精准的关键词匹配以及相关性评分)与基于向量相似度的语义理解相结合,并支持多种重排序(Reranking)技术。这种协同方式能够显著提升搜索结果的相关性,使查询不仅能够匹配关键词,还能够理解用户意图,从而更精准地定位内容。使用具备分布式搜索、检索与重排序能力的数据平台作为核心上下文检索引擎具有重要意义。本议题将通过生动且具体的示例,深入展示如何利用稀疏向量与密集向量实现高质量的语义搜索。使用最新的 JINA 嵌入模型实现多模态的查询。

在最新的 Elastic 发布中,Elastic 推出了 AI Agent Builder,使开发者能够在几分钟内快速创建自己的 Agents。Agent Builder 提供了聊天式交互界面,用户可以直接在 Kibana 中创建和管理 agents、tools 及 skills。与此同时,Elastic 还提供了 Workflows 自动化引擎,为简单任务提供稳定可靠的脚本化自动化能力,并为需要推理的复杂场景提供由 AI 驱动的智能自动化。开发者可以在 Kibana 中基于 ES|QL、MCP、Workflows 以及 Index Search 构建 tools,也可以通过自定义 skills 扩展特定搜索场景的能力。用户能够通过自然语言对 Elastic 中的数据进行查询、关联与分析,实现真正意义上的 “与数据对话”。Kibana 内置 MCP 与 A2A 服务器、可编程 APIs,以及一系列预构建的系统 tools,用于查询和探索 Elasticsearch 索引,并从自然语言自动生成 ES|QL 查询。Agent Builder 还允许开发者创建自定义 tools,并利用富表达能力的 ES|QL 查询语法,对返回给 agent 的上下文数据进行定向与塑造。结合 Elasticsearch 强大的聚合、过滤、分析以及混合搜索能力,Elastic 为现代 AI agents 提供了丰富而可信的上下文基础,从而构建具备上下文感知能力的下一代智能搜索与分析平台。