http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5651|回复: 4

[搜索引擎] 32-Elasticsearch处理各种语言-人类语言

[复制链接]
发表于 2019-1-2 11:56:16 | 显示全部楼层 |阅读模式
开始处理各种语言
Elasticsearch 为很多世界流行语言提供良好的、简单的、开箱即用的语言分析器集合:

阿拉伯语、亚美尼亚语、巴斯克语、巴西语、保加利亚语、加泰罗尼亚语、中文、捷克语、丹麦、荷兰语、英语、芬兰语、法语、加里西亚语、德语、希腊语、北印度语、匈牙利语、印度尼西亚、爱尔兰语、意大利语、日语、韩国语、库尔德语、挪威语、波斯语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语和泰语。

这些分析器承担以下四种角色:

文本拆分为单词:

[C#] 纯文本查看 复制代码
The quick brown foxes → [ The, quick, brown, foxes]


大写转小写:

[C#] 纯文本查看 复制代码
The → the


移除常用的 _停用词_:

[C#] 纯文本查看 复制代码
[ The, quick, brown, foxes] → [ quick, brown, foxes]


将变型词(例如复数词,过去式)转化为词根:
[C#] 纯文本查看 复制代码
foxes → fox


为了更好的搜索性,每个语言的分析器提供了该语言词汇的具体转换规则:

英语 分析器移除了所有格 's

[C#] 纯文本查看 复制代码
John's → john


法语 分析器移除了 元音省略 例如 l' 和 qu' 和 变音符号 例如 ¨ 或 ^ :

[C#] 纯文本查看 复制代码
l'église → eglis


德语 分析器规范化了切词, 将切词中的 ä 和 ae 替换为 a , 或将 ß 替换为 ss :

äußerst → ausserst开始处理各种语言编
Elasticsearch 为很多世界流行语言提供良好的、简单的、开箱即用的语言分析器集合:

阿拉伯语、亚美尼亚语、巴斯克语、巴西语、保加利亚语、加泰罗尼亚语、中文、捷克语、丹麦、荷兰语、英语、芬兰语、法语、加里西亚语、德语、希腊语、北印度语、匈牙利语、印度尼西亚、爱尔兰语、意大利语、日语、韩国语、库尔德语、挪威语、波斯语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语和泰语。

这些分析器承担以下四种角色:

文本拆分为单词:

[C#] 纯文本查看 复制代码
The quick brown foxes → [ The, quick, brown, foxes]


大写转小写:

[C#] 纯文本查看 复制代码
The → the


移除常用的 _停用词_:

[C#] 纯文本查看 复制代码
[ The, quick, brown, foxes] → [ quick, brown, foxes]


将变型词(例如复数词,过去式)转化为词根:

[C#] 纯文本查看 复制代码
foxes → fox


为了更好的搜索性,每个语言的分析器提供了该语言词汇的具体转换规则:

英语 分析器移除了所有格 's

[C#] 纯文本查看 复制代码
John's → john


法语 分析器移除了 元音省略 例如 l' 和 qu' 和 变音符号 例如 ¨ 或 ^ :

[C#] 纯文本查看 复制代码
l'église → eglis


德语 分析器规范化了切词, 将切词中的 ä 和 ae 替换为 a , 或将 ß 替换为 ss :
[C#] 纯文本查看 复制代码
äußerst → ausserst




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2019-1-2 15:34:22 | 显示全部楼层
强烈支持楼主ing……
发表于 2019-1-2 17:03:54 | 显示全部楼层
强烈支持楼主ing……
发表于 2019-1-2 17:47:34 | 显示全部楼层
我只是路过打酱油的。
发表于 2019-1-8 13:32:28 | 显示全部楼层
激动人心,无法言表!
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-25 04:10

© 2014-2021

快速回复 返回顶部 返回列表