如何在NEST中使用多个索引分析器?

 jzcpojwmds_652 发布于 2023-01-10 12:10

我有一个已创建的公司类型。在该公司类型的内部,我有一个名为“摘要”的字段。如何在此字段中添加多个索引分析器?

我简要地研究了使用Yakaz插件,但似乎无法与NEST一起使用。

其背后的原因是,有时用户会在查询中搜索带有句点的公司名称,而其他时候则不包括句点。我想在公司名称上使用ngram进行部分匹配,带标点和不带标点。我目前正在使用停用词过滤器来删除标点符号。

摘要字段的属性(具有多个索引分析器将引发错误):

[ElasticProperty(IndexAnalyzer = "partial_match", IndexAnalyzer = "partial_match_no_punctuation", SearchAnalyzer = "full_match")]
public string Summary { get; set; }

对应:

private static void CreateMapping(ElasticClient client)
{
    var partialMatchNoPunctuation = new CustomAnalyzer
    {
        Filter = new List { "standard", "lowercase", "asciifolding", "punctuation_filter", "name_ngrams" },  //Apply all filters before ngram
        Tokenizer = "standard"
    };
    var partialMatch = new CustomAnalyzer
    {
        Filter = new List { "standard", "lowercase", "asciifolding", "name_ngrams" },  //Apply all filters before ngram
        Tokenizer = "standard"
    };

    var fullMatch = new CustomAnalyzer
    {
        Filter = new List { "standard", "lowercase", "asciifolding" },
        Tokenizer = "standard"
    };

    client.CreateIndex(Settings.Default.IndexName, c => c
        .Analysis(descriptor => descriptor
            .TokenFilters(bases => bases
                .Add("name_ngrams", new NgramTokenFilter
                {
                    MaxGram = 11,
                    MinGram = 3
                })
                .Add("punctuation_filter", new StopTokenFilter
                {
                    Stopwords = new List {"."}
                })
                )
            .Analyzers(bases => bases
                .Add("partial_match", partialMatch)
                .Add("partial_match_no_punctuation", partialMatchNoPunctuation)
                .Add("full_match", fullMatch))
        )
    );
}

另外,如果有一种方法可以在单个分析仪中执行此操作,则可以提出建议。

编辑:

我的班级名称是“ ElasticSearchProject”。我希望将其存储为称为“项目”的类型。我相信我的尝试是导致错误的原因。当我获得Project类型的映射时,它只应用了部分匹配分析器。

这是仍然适用于我的班级的唯一ES属性:

[ElasticType(Name = "Project")]

多字段映射:

.AddMapping(m => m
    .MapFromAttributes()
    .Properties(project=>project
        .MultiField(mf=>mf
            .Name("Project")
            .Fields(f=>f
                .Number(s=>s.Name(o=>o.Id).Index(NonStringIndexOption.no))
                .String(s => s.Name(o => o.Summary).IndexAnalyzer("partial_match"))
                .String(s => s.Name(o => o.Summary).IndexAnalyzer("partial_match_no_punctuation"))
            ))))

Greg Marzouk.. 5

首先,要回答您的问题,您不能将多个分析仪添加到一个字段中。但是,您可以使用多字段类型来映射同一字段的多个版本,并对每个版本应用不同的分析器。查看此答案,了解如何使用NEST完成此任务。

关于带标点和不带标点的搜索,如果您使用与索引和搜索分析器相同的分析器,则没关系,因为在索引过程中应用于字段的相同分析也将应用于用户查询。

例:

Foo.Bar将被索引为foobar

如果用户搜索Foo.BarFooBar,则搜索分析器会将其转换为foobar,因为该字段也被索引为,所以将找到匹配项foobar

我觉得你的问题的一部分是,你要使用full_match的搜索分析,并partial_match_no_punctuationpartial_match作为指数分析。尝试将它们调和为一个(删除标点符号,ngram),并将其用于搜索和索引分析器。如果发现仍然需要多个分析器,请查看我上面提到的多字段类型。

希望能有所帮助。

编辑:根据您的更新,多字段映射的问题是您试图为两个字段分配相同的名称。此外,您正在命名字段“项目”,这是您的类型的名称,可能您想将其命名为“摘要”。此外,您也不想将“ Id”字段包含在“ Summary”多字段中。尝试以下方法:

.AddMapping(m => m
.MapFromAttributes()
.Properties(project => project
    .MultiField(mf => mf
        .Name(o => o.Summary)
        .Fields(f => f
            .String(s => s.Name(o => o.Summary).Analyzer("partial_match"))
            .String(s => s.Name(o => o.Summary.Suffix("no_punctuation")).Analyzer("partial_match_no_punctuation"))
        )))));

这将在映射中创建两个字段:

summarypartial_match分析仪。

summary.no_puncuationpartial_match_no_punctuation分析仪。

1 个回答
  • 首先,要回答您的问题,您不能将多个分析仪添加到一个字段中。但是,您可以使用多字段类型来映射同一字段的多个版本,并对每个版本应用不同的分析器。查看此答案,了解如何使用NEST完成此任务。

    关于带标点和不带标点的搜索,如果您使用与索引和搜索分析器相同的分析器,则没关系,因为在索引过程中应用于字段的相同分析也将应用于用户查询。

    例:

    Foo.Bar将被索引为foobar

    如果用户搜索Foo.BarFooBar,则搜索分析器会将其转换为foobar,因为该字段也被索引为,所以将找到匹配项foobar

    我觉得你的问题的一部分是,你要使用full_match的搜索分析,并partial_match_no_punctuationpartial_match作为指数分析。尝试将它们调和为一个(删除标点符号,ngram),并将其用于搜索和索引分析器。如果发现仍然需要多个分析器,请查看我上面提到的多字段类型。

    希望能有所帮助。

    编辑:根据您的更新,多字段映射的问题是您试图为两个字段分配相同的名称。此外,您正在命名字段“项目”,这是您的类型的名称,可能您想将其命名为“摘要”。此外,您也不想将“ Id”字段包含在“ Summary”多字段中。尝试以下方法:

    .AddMapping<ElasticSearchProject>(m => m
    .MapFromAttributes()
    .Properties(project => project
        .MultiField(mf => mf
            .Name(o => o.Summary)
            .Fields(f => f
                .String(s => s.Name(o => o.Summary).Analyzer("partial_match"))
                .String(s => s.Name(o => o.Summary.Suffix("no_punctuation")).Analyzer("partial_match_no_punctuation"))
            )))));
    

    这将在映射中创建两个字段:

    summarypartial_match分析仪。

    summary.no_puncuationpartial_match_no_punctuation分析仪。

    2023-01-10 12:12 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有