es怎么做拆词的 ES 做拆词分词的核心是分词器它在索引文档和搜索时负责把长文本切成一个个独立的词term这样才能建立倒排索引实现高效的全文搜索。这个过程主要有三种角色输入: 我喜欢看科幻电影 ↓ [字符过滤器] → [分词器] → [令牌过滤器] ↓ 输出: [我, 喜欢, 看, 科幻, 电影] 核心概念三个组件各司其职组件作用示例字符过滤器预处理文本比如去掉HTML标签bhello/b→hello分词器按规则切分文本我喜欢→我喜欢令牌过滤器标准化分词结果如转小写、去停用词Cats→cat️ 如何配置和使用1. 使用内置分词器最常用比如用ik_smart做粗粒度分词或者用ik_max_word做细粒度分词POST_analyze{analyzer:ik_smart,text:中华人民共和国国歌}结果类似[中华人民共和国, 国歌]。2. 为字段指定分词器PUT/library_books{mappings:{properties:{title:{type:text,analyzer:ik_max_word,// 索引时用细粒度分词search_analyzer:ik_smart// 搜索时用粗粒度分词}}}}3. 自定义分词器灵活但复杂PUT/my_index{settings:{analysis:{analyzer:{my_custom_analyzer:{type:custom,tokenizer:standard,char_filter:[html_strip],filter:[lowercase,stop]}}}}} 测试与调试测试现有分词器POST/library_books/_analyze{field:title,text:三体科幻小说}查看某个词在倒排索引中的位置GET/library_books/_termvectors/123{fields:[title],term_statistics:true}一个推荐的配置示例PUT/library_books{mappings:{properties:{title:{type:text,analyzer:ik_max_word,search_analyzer:ik_smart},author:{type:keyword// 不用分词精准匹配作者},content:{type:text,analyzer:ik_max_word}}}}需要注意分词器的选择会直接影响搜索结果一旦创建索引就不能修改建索引前最好多测试几种配置。⚠️ 关键提醒*分词器不是万能的人名、专业术语可能需要专门优化*性能细粒度分词ik_max_word索引会更大但搜索结果更全*调试工具用_analyzeAPI 手动测试确保符合业务预期

相关新闻

最新新闻

Bracket:一站式开源赛程管理系统,拖几秒排好整张对阵表

Bracket:一站式开源赛程管理系统,拖几秒排好整张对阵表

Bracket:一站式开源赛程管理系统,拖几秒排好整张对阵表 【免费下载链接】bracket Selfhosted tournament system 项目地址: https://gitcode.com/GitHub_Trending/br/bracket Bracket 是一款自托管的开源赛程管理系统,把建赛、报名、排…

2026/8/25 17:14:55
腾讯WorkBuddy:AI智能体如何重塑桌面办公自动化

腾讯WorkBuddy:AI智能体如何重塑桌面办公自动化

1. 项目概述:WorkBuddy是什么,以及它想解决什么问题最近在AI应用圈子里,腾讯的WorkBuddy讨论度挺高。简单来说,你可以把它理解为一个“长”在你电脑桌面上的AI智能体工作台。它不是传统的软件,也不是一个简单的聊天机器…

2026/8/25 17:14:55
OpenClaw驱动同花顺Skill:构建安全稳定的自动化选股系统

OpenClaw驱动同花顺Skill:构建安全稳定的自动化选股系统

1. 项目概述:当OpenClaw遇上同花顺官方Skill最近在量化交易和自动化工具圈子里,OpenClaw的热度一直居高不下。作为一个开源的、旨在连接大语言模型与现实世界操作系统的智能体框架,它让“用自然语言指挥电脑干活”这件事变得触手可及。而我作…

2026/8/25 17:14:55
OpenClaw智能体实战:从定时提醒到自动搜索,打造个人自动化助理

OpenClaw智能体实战:从定时提醒到自动搜索,打造个人自动化助理

1. 从“玩具”到“生产力”:OpenClaw的定位转变 最近在折腾本地AI智能体,OpenClaw这个名字出现的频率越来越高。一开始,很多人(包括我)都把它当成一个“会聊天的玩具”——部署好,调通一个大模型&#xff…

2026/8/25 17:14:55
OpenClaw零门槛部署指南:从环境配置到AI助手实战

OpenClaw零门槛部署指南:从环境配置到AI助手实战

1. 项目概述:为什么OpenClaw值得你投入时间?最近在开发者圈子里,OpenClaw 这个名字出现的频率越来越高。如果你关注AI应用开发,特别是想快速构建一个功能丰富的智能对话机器人或AI助手,那么OpenClaw绝对是一个绕不开的…

2026/8/25 17:14:55
VSCode自动保存机制全解析:从原理到实战配置与避坑指南

VSCode自动保存机制全解析:从原理到实战配置与避坑指南

1. 从“忘记保存”到“无感同步”:为什么自动保存是效率的基石作为一名写了十几年代码的老兵,我敢说,几乎每个程序员都经历过那种“眼前一黑”的时刻:敲了半小时的代码,编辑器突然崩溃,或者电脑意外断电&am…

2026/8/25 17:09:55