摘要:elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词
elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp
elasticsearch
默认分词
输出:
ik分词
输出:
hanlp分词
输出:
ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词
安装步骤:
1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data
目录的地址
2、修改es config目录下的jvm.options文件,最后一行添加
-djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy
重启es
get /_analyze?analyzer=hanlp-index&pretty=true
{
“text”:”张柏芝士蛋糕店”
}
测试是否安装成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自定义词典
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件
格式遵从[单词] [词性a] [a的频次]
修改完后删除同目录下的customdictionary.txt.bin文件
重启es服务
文章来源于pengcong90的博客
AI网络安全已拉开帷幕 AI犯罪也近在咫尺
Broadcom完成对NetLogic微系统公司的收购
释放生产力 三星 Galaxy 生态产品助力智慧办公
电阻表(摇表)如何读数_兆欧表的工作原理_使用方法
彩电开关电源疑难故障检修一例
hanlp for elasticsearch(基于hanlp的es分词插件)
新时代 新共识 新未来|2023数字经济创投峰会即将隆重开幕
锂的神奇功能
电流传感器是如何在UPS中工作的?
如何利用单片机向PC发送一个字节数据
永泰隆智慧路灯管理系统通过路灯控制器让传统路灯“活”起来!做到电力安全节能!
一个简单的低音炮滤波器的电路图分享
时序约束连载03~约束步骤总结
盘点2021年亚马逊上饱受欢迎的几款直线马达3D打印机
三款文件和对象存储产品的对比和应用
电子汽车衡的维修问题及其对策
传LGD将采新制程、OLED电视面板成本骤减
安装涡街流量计时需要注意什么
【技术分享】RK3568适配RK628 RGB to HDMI
高灵敏度单极霍尔IC的特点及应用介绍