Удалить диакритические знаки (ǹ ń ň ń ņ ṅ ṇ ṋ ṉ ɲ ƞ ᶇ ɳ ȵ) из Unicode-символов

ядро java.текстовый пакет был разработан для решения этого варианта использования (соответствующие строки, не заботясь о диакритике, случае и т. д.).

настройка Collator сортировка PRIMARY различия в символах. С этим создайте CollationKey для каждой строки. Если весь код в Java, вы можете использовать CollationKey напрямую. Если вам нужно сохранить ключи в базе данных или другом индексе, вы можете преобразовать его в байт массив.

эти классы использовать Unicode standard случай складывания данных, чтобы определить, какие символы эквивалентны, и поддержка различных распад стратегии.

Collator c = Collator.getInstance();
c.setStrength(Collator.PRIMARY);
Map<CollationKey, String> dictionary = new TreeMap<CollationKey, String>();
dictionary.put(c.getCollationKey("Björn"), "Björn");
...
CollationKey query = c.getCollationKey("bjorn");
System.out.println(dictionary.get(query)); // --> "Björn"

обратите внимание, что параметры сортировки зависят от локали. Это связано с тем, что" алфавитный порядок " отличается между локалями (и даже со временем, как это было в случае с испанским языком). The Collator класс избавляет вас от необходимости отслеживать все эти правила и хранить их до дата.

часть Apache Commons Lang как Вер. 3.1.

org.apache.commons.lang3.StringUtils.stripAccents("Añ");

возвращает An

можно использовать нормализатор класс С java.text:

System.out.println(new String(Normalizer.normalize("ń ǹ ň ñ ṅ ņ ṇ ṋ", Normalizer.Form.NFKD).getBytes("ascii"), "ascii"));

но есть еще некоторая работа, так как Java делает странные вещи с непереводимыми символами Юникода (он не игнорирует их, и он не бросает исключение). Но я думаю, вы могли бы использовать это как отправную точку.

есть проект доклада о складывании символов на веб-сайте unicode, который имеет много соответствующего материала. Смотри раздел 4.1. "Алгоритм складывания".

здесь Обсуждение и реализация удаления диакритического маркера с помощью Perl.

эти существующие вопросы SO связаны:

• как сконвертировать UTF-8 в US ASCII
• как изменить диакритические символы на не диакритические те

обратите внимание, что не все эти метки являются просто "метками" на каком-то "нормальном" символе, которые вы можете удалить без изменения значения.

в шведском языке å ä и ö-истинные и правильные первоклассные символы, а не какой-то "вариант" какого-то другого символа. Они звучат иначе, чем все остальные персонажи, они сортируются по-другому, и они заставляют слова менять значение ("mätt" и "matt" - это два разных слова).

Юникод имеет специфические diatric символы (составные символы) и строку можно преобразовать так, чтобы характер и diatrics разделяются. Затем вы можете просто удалить диатрики из строки, и вы в основном сделали.

для получения дополнительной информации о нормализации, разложениях и эквивалентности см. стандарт Unicode в Домашняя страница Unicode.

однако, как вы можете достичь этого, зависит от framework / OS/... ты над этим работаешь. Если вы используете .NET, вы можете использовать строку.Нормализовать способ принятия

самый простой способ (для меня) - просто поддерживать разреженный массив отображения, который просто изменяет ваши кодовые точки Unicode в отображаемые строки.

, например:

start    = 0x00C0
size     = 23
mappings = {
    "A","A","A","A","A","A","AE","C",
    "E","E","E","E","I","I","I", "I",
    "D","N","O","O","O","O","O"
}
start    = 0x00D8
size     = 6
mappings = {
    "O","U","U","U","U","Y"
}
start    = 0x00E0
size     = 23
mappings = {
    "a","a","a","a","a","a","ae","c",
    "e","e","e","e","i","i","i", "i",
    "d","n","o","o","o","o","o"
}
start    = 0x00F8
size     = 6
mappings = {
    "o","u","u","u","u","y"
}
: : :

использование редкие array позволит вам эффективно представлять замены, даже если они находятся в широко разнесенных разделах таблицы Unicode. Замена строк позволит произвольным последовательностям заменить ваши диакритики (например,æ графема становится ae).

Это язык-агностический ответ, поэтому, если у вас есть конкретный язык в виду, будут лучшие способы (хотя все они, вероятно, дойдут до этого на самых низких уровнях в любом случае).

Что-то рассмотреть: если вы идете по пути, пытаясь получить один "перевод" каждого слова, вы можете пропустить некоторые возможные альтернативы.

например, на немецком языке при замене " s-set "некоторые люди могут использовать" B", в то время как другие могут использовать"ss". Или, заменяя umlauted o на "o "или"oe". Любое решение, которое вы придумаете, в идеале, я думаю, должно включать оба.

в Windows и .NET я просто конвертирую, используя кодировку строк. Таким образом, я избегаю ручного отображения и кодирования.

попробуйте играть со Строковой кодировкой.

в случае немецкого языка не требуется удалять диакритики из Umlauts (ä, ö, ü). Вместо этого они заменяются двухбуквенной комбинацией (ae ,oe, ue) Например, Björn следует писать как Bjoern (не Bjorn), чтобы иметь правильное произношение.

для этого я бы предпочел жестко закодированное отображение, где вы можете определить правило замены индивидуально для каждой специальной группы символов.

для дальнейшего использования, Вот метод расширения C#, который удаляет акценты.

public static class StringExtensions
{
    public static string RemoveDiacritics(this string str)
    {
        return new string(
            str.Normalize(NormalizationForm.FormD)
                .Where(c => CharUnicodeInfo.GetUnicodeCategory(c) != 
                            UnicodeCategory.NonSpacingMark)
                .ToArray());
    }
}
static void Main()
{
    var input = "ŃŅŇ ÀÁÂÃÄÅ ŢŤţť Ĥĥ àáâãäå ńņň";
    var output = input.RemoveDiacritics();
    Debug.Assert(output == "NNN AAAAAA TTtt Hh aaaaaa nnn");
}