ElasticSearch-Поиск Человеческих Имен

во-первых, я воссоздал вашу текущую конфигурацию в игре:https://www.found.no/play/gist/867785a709b4869c5543

если вы идете туда, перейдите на вкладку"Анализ", чтобы увидеть, как текст преобразуется:

обратите внимание, например, что Heaney заканчивается как [hn, heanei] С search_analyzer и [HN, heanei] С index_analyzer. Примечание в случае-разница для метафон-термин. Таким образом, это не соответствует.

на fuzzyзапрос не сделайте анализ текста времени запроса. Таким образом, вы в конечном итоге сравнивая Heavey С heanei. Это Дамерау-Левенштейна расстояние дольше, чем позволяют ваши параметры.

то, что вы действительно хотите сделать, это использовать нечеткую функциональность match. Матч тут сделайте анализ текста времени запроса и имеет нечеткости-параметр.

что касается fuzziness, это немного изменилось в Lucene 4. Раньше он обычно указывался как float. Теперь это должно быть указано как допустимое расстояние. Есть выдающийся запрос на вытягивание, чтобы уточнить, что:https://github.com/elasticsearch/elasticsearch/pull/4332/files

причина, по которой вы получаете людей без имени Michael это то, что вы делаете bool.should. Это имеет OR-семантику. Достаточно того, что один матч, но забивать лучше, чем больше матчей.

наконец, объединение всей этой фильтрации в один и тот же термин не обязательно лучший подход. Например, вы не можете знать и повышать точность написания. То, что вы должны рассмотреть, используя multi_field обрабатывать поле в много путей.

вот пример, который вы можете играть с, с командами curl, чтобы воссоздать его ниже. Однако я бы пропустил использование" porter " stemmer полностью для этого. Я сохранил его, чтобы показать, как работает multi_field. Использование комбинации match, match с нечеткостью и фонетическим соответствием ты далеко пойдешь. (Убедитесь, что вы не позволяете нечеткость, когда вы делаете фонетическое соответствие - или вы получите бесполезно нечеткое соответствие. :-)

#!/bin/bash

export ELASTICSEARCH_ENDPOINT="http://localhost:9200"

# Create indexes

curl -XPUT "$ELASTICSEARCH_ENDPOINT/play" -d '{
    "settings": {
        "analysis": {
            "text": [
                "Michael",
                "Heaney",
                "Heavey"
            ],
            "analyzer": {
                "metaphone": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "my_metaphone"
                    ]
                },
                "porter": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "porter_stem"
                    ]
                }
            },
            "filter": {
                "my_metaphone": {
                    "encoder": "metaphone",
                    "replace": false,
                    "type": "phonetic"
                }
            }
        }
    },
    "mappings": {
        "jr": {
            "properties": {
                "pty_surename": {
                    "type": "multi_field",
                    "fields": {
                        "pty_surename": {
                            "type": "string",
                            "analyzer": "simple"
                        },
                        "metaphone": {
                            "type": "string",
                            "analyzer": "metaphone"
                        },
                        "porter": {
                            "type": "string",
                            "analyzer": "porter"
                        }
                    }
                }
            }
        }
    }
}'


# Index documents
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_bulk?refresh=true" -d '
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heaney"}
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heavey"}
'

# Do searches

curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "query": {
        "bool": {
            "should": [
                {
                    "bool": {
                        "should": [
                            {
                                "match": {
                                    "pty_surname": {
                                        "query": "heavey"
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surname": {
                                        "query": "heavey",
                                        "fuzziness": 1
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surename.metaphone": {
                                        "query": "heavey"
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surename.porter": {
                                        "query": "heavey"
                                    }
                                }
                            }
                        ]
                    }
                }
            ]
        }
    }
}
'