开发笔记:elasticsearchElasticsearch7.XScripting脚本使用详解

转载&＃xff1a;Elasticsearch 7.X Scripting脚本使用详解

除了官方文档&＃xff0c;其他能找到的介绍Elasticsearch脚本&＃xff08;Scripting&＃xff09;的资料少之又少。

一方面&＃xff1a;性能问题。

官方文档性能优化中明确指出使用脚本会导致性能低&＃xff1b;

另一方面&＃xff1a;使用场景相对少。

非复杂业务场景下&＃xff0c;基础的增、删、改、查基本上就能搞定。

但&＃xff0c;不能否认&＃xff0c;在解决复杂业务问题&＃xff08;如&＃xff1a;自定义评分、自定义文本相关度、自定义过滤、自定义聚合分析&＃xff09;时&＃xff0c;脚本依然是Elasticsearch强悍的利器之一。

本文在官方文档基础上&＃xff0c;结合实际业务场景&＃xff0c;在Elasticsearch7.3环境下进行脚本使用解读。

Avoid scripts——In general, scripts should be avoided.
If they are absolutely needed, you should prefer the painless and expressions engines.

ebay在性能优化实践中也强调&＃xff08;本文做了扩展延伸&＃xff09;&＃xff1a;

避免使用脚本查询&＃xff08;script query&＃xff09;计算动态字段。

例如&＃xff1a;我们有一个包含大量剧院信息的索引&＃xff0c;我们需要查询以"Down"开头的所有剧院。你可能运行一个如下脚本查询&＃xff1a;

POST seats/_search
{
"query": {
"bool": {
"filter": {
"script": {
"script": {
"lang": "painless",
"source": "doc[&＃39;theatre&＃39;].value.startsWith(&＃39;Down&＃39;)"
}
}
}
}
}
}


这个查询非常耗费资源&＃xff0c;并且减慢整个系统。

解决方案&＃xff1a;

方案一&＃xff1a;prefix前缀匹配&＃xff1b;实测性能&＃xff1a;prefix较scripting性能提升5倍。

方案二&＃xff1a;索引时考虑添加一个名为“theatre_prefix”的keyword类型字段。然后我们可以查询"theatre_prefix":"Down"。

Groovy 的出现是解决MVEL的安全隐患问题&＃xff1b;
但Groovy仍存在内存泄露&＃43;安全漏洞问题&＃xff0c;

painless脚本的官宣时间&＃xff1a;2016年9月21日。看似很新&＃xff0c;截止目前&＃xff0c;已经三年左右时间了。

正如其名字&＃xff1a;无痛。painless的出现是为了用户更方便、高效的使用脚本。

https://www.elastic.co/cn/blog/painless-a-new-scripting-language

Painless是一种简单&＃xff0c;安全的脚本语言&＃xff0c;专为与Elasticsearch一起使用而设计。它是Elasticsearch的默认脚本语言&＃xff0c;可以安全地用于内联和存储脚本。

Painless特点&＃xff1a;

1. 性能牛逼&＃xff1a;Painless脚本运行速度比备选方案&＃xff08;包括Groovy&＃xff09;快几倍。

2. 安全性强&＃xff1a;使用白名单来限制函数与字段的访问&＃xff0c;避免了可能的安全隐患。

3. 可选输入&＃xff1a;变量和参数可以使用显式类型或动态def类型。

4. 上手容易&＃xff1a;扩展了java的基本语法&＃xff0c;并兼容groove风格的脚本语言特性。

5. 特定优化&＃xff1a;是ES官方专为Elasticsearch脚本编写而设计。

认知前提&＃xff1a;

增删改查能解决业务场景80%的问题&＃xff0c;Painless脚本操作一般应用于相对复杂的业务场景中。

常见场景举例如下&＃xff1a;

自定义字段
自定义评分
自定义更新
自定义reindex
聚合
其他自定义操作

5、Scripting 使用模板

心中有模板&＃xff0c;脚本认知就有了“套路”。

"script": {
"lang": "...",
"source" | "id": "...",
"params": { ... }
}


1. lang&＃xff1a;代表language脚本语言&＃xff0c;默认指定为&＃xff1a;painless。

2. source&＃xff1a;脚本的核心部分&＃xff0c;id应用于&＃xff1a;stored script。

3. params&＃xff1a;传递给脚本使用的变量参数。

6.1 自定义字段

举例&＃xff1a;返回原有Mapping未定义的字段值。
如&＃xff1a;以my_doubled_field返回my_field字段的翻倍后的结果。

GET my_index/_search
{
"script_fields": {
"my_doubled_field": {
"script": {
"lang": "expression",
"source": "doc[&＃39;my_field&＃39;] * multiplier",
"params": {
"multiplier": 2
}
}
}
}
}


注意&＃xff1a;这里脚本语言选择的expression&＃xff0c;下一节讲解。

如&＃xff1a;返回日期字段中的“年”或“月”或“日”等。


GET hockey/_search
{
"script_fields": {
"birth_year": {
"script": {
"source": "doc.born.value.year"
}
}
}
}


6.2 自定义评分

GET my_index/_search
{
"query": {
"function_score": {
"query": {
"match": {
"text": "quick brown fox"
}
},
"script_score": {
"script": {
"lang": "expression",
"source": "_score * doc[&＃39;popularity&＃39;]"
}
}
}
}
}


6.3 自定义更新

Update:将已有字段值赋值给其他字段。

POST hockey/_update/1
{
"script": {
"lang": "painless",
"source": """
ctx._source.last &＃61; params.last;
ctx._source.nick &＃61; params.nick
""",
"params": {
"last": "gaudreau",
"nick": "hockey"
}
}
}


Update_by_query&＃xff1a;满足b开头&＃xff08;注意正则&＃xff09;的字段&＃xff0c;末尾添加matched。

POST hockey/_update_by_query
{
"script": {
"lang": "painless",
"source": """
if (ctx._source.last &＃61;~ /b/) {
ctx._source.last &＃43;&＃61; "matched";
} else {
ctx.op &＃61; "noop";
}
"""
}
}


6.4 自定义reindex

Elasticsearch认证考试题&＃xff1a;

有index_a包含一些文档&＃xff0c; 要求创建索引index_b&＃xff0c;通过reindex api将index_a的文档索引到index_b。

要求&＃xff1a;

1. 增加一个整形字段&＃xff0c;value是index_a的field_x的字符长度&＃xff1b;

2. 再增加一个数组类型的字段&＃xff0c;value是field_y的词集合。

(field_y是空格分割的一组词&＃xff0c;比方"foo bar"&＃xff0c;索引到index_b后&＃xff0c;要求变成[“foo”, “bar”]&＃xff09;

POST _reindex
{
"conflicts": "proceed",
"source": {
"index": "index_a"
},
"dest": {
"index": "index_b"
},
"script": {
"source": "ctx._source.parts &＃61; / /.split(ctx._source.address); ctx._source.tag &＃61; ctx._source.city.length();"
}
}


语法参考&＃xff1a;

https://www.elastic.co/guide/en/elasticsearch/painless/7.3/painless-regexes.html

6.5 聚合

GET /_search
{
"aggs": {
"genres": {
"terms": {
"script": {
"source": "doc[&＃39;genre&＃39;].value",
"lang": "painless"
}
}
}
}
}


6.6 其他自定义操作

需要结合业务去实践。

7.1 脚本只有Painless吗&＃xff1f;

显然不是&＃xff0c;第6节用到的expression 是Lucene’s expressions 脚本语言。

还可以基于脚本引擎自己开发插件实现&＃xff0c;

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting-engine.html

7.2 怎么界定是expressions 还是Painless&＃xff1f;

"lang": "painless",
"lang": "expressions ",


是唯一区分。

7.3 使用painless就百分之百“无痛”&＃xff0c;无漏洞后顾之忧了吗&＃xff1f;

凡事不能绝对。
核心注意点&＃xff1a;

第一&＃xff1a;不要root账户下运行Elasticsearch。
第二&＃xff1a;不要公开ES路径给其他用户。
第三&＃xff1a;不要公开ES路径到互联网。


实战推荐&＃xff1a;

1、用户在搜索框中键入文本&＃xff0c;文本将直接发送到后台的match、match_phrase、Simple query string或 Suggesters.

2、作为应用程序开发过程的一部分&＃xff08;而非全部&＃xff09;开放上述查询的脚本。

3、使用用户提供的参数运行脚本。

4、文档固定的Mapping结构。

不推荐&＃xff1a;

1、用户可以编写任意scripts, queries&＃xff08;检索&＃xff09;, _search requests&＃xff08;search请求&＃xff09;。

2、文档结构可以用户自定义。

本文讲解了脚本的发展历史、使用场景、应用实战&＃xff0c;但相比于实际业务的复杂需求仍然是九牛一毛。

实战中&＃xff0c;肯定还会遇到这样、那样的问题。

一方面&＃xff1a;欢迎留言交流。
另一方面&＃xff1a;多研读官方文档&＃xff0c;很多细节值得深究。

https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-search-speed.html
https://www.infoq.cn/article/elasticsearch-performance-tuning-practice-at-ebay
https://github.com/laoyang360/deep_elasticsearch/blob/master/es_dsl_study/6.scripting.md
https://github.com/elastic/elasticsearch/issues/19396
https://www.youtube.com/watch?v&＃61;3FLEJJ8PsM4
https://blog.csdn.net/u013613428/article/details/78134170
————————————————
版权声明&＃xff1a;本文为CSDN博主「铭毅天下」的原创文章&＃xff0c;遵循CC 4.0 BY-SA版权协议&＃xff0c;转载请附上原文出处链接及本声明。
原文链接&＃xff1a;https://blog.csdn.net/laoyang360/article/details/100869751