Расстояние редактирования предложения на уровне слов

есть ли алгоритм, который позволяет найти расстояние редактирования на уровне слов между 2 предложениями? Для EG., "Жирная собака" и "большом доме с жиром собака" с 1 заменой, 3 вставки

15
algorithm edit-distance string

4 ответов

вы можете использовать те же алгоритмы, которые используются для поиска расстояния редактирования в строках, чтобы найти расстояния редактирования в предложениях. Вы можете думать о предложении как о строке, взятой из алфавита, где каждый символ является словом в английском языке (при условии, что пробелы используются для обозначения того, где начинается один "символ" и заканчивается следующий). Любой стандартный алгоритм вычисления расстояния редактирования, например стандартный динамическое программирование подход для вычисления расстояния Левенштейна, может быть адаптирован для решения этой проблемы.

9

В общем, это называется проблема выравнивания последовательности. На самом деле не имеет значения, какие объекты вы выравниваете - биты, символы, слова или базы ДНК - пока алгоритм работает для одного типа элементов, он будет работать для всего остального. Важно, хотите ли вы глобальные или местные выравнивание.

глобальные выравнивания, которые пытаются выровнять каждый остаток в каждой последовательности, наиболее полезны, когда последовательности похожи и примерно одинакового размера. Общая глобальная техника выравнивания-это Нидлмана-Вунш алгоритм, который основан на динамическое программирование. Когда люди говорят о расстоянии Levinstain, они обычно имеют в виду глобальное выравнивание. Алгоритм настолько прост, что несколько человек обнаружили его самостоятельно, и иногда вы можете встретить алгоритм Вагнера-Фишера что по существу одно и то же, но упоминается чаще всего в контексте редактирования расстояния между двумя строками символов.

локальное выравнивание более полезно для несхожих последовательностей, которые, как предполагается, содержат области сходства или аналогичные мотивы последовательности в их более широком контексте последовательности. The алгоритм Смита-Уотермана - это общий метод локального выравнивания, также основанный на динамическом программировании. Он довольно редко используется в обработке естественного языка, а чаще-в биоинформатика.

6

вот пример реализации идеи @templatetypedef в ActionScript (она отлично сработала для меня), которая вычисляет нормализованное расстояние Левенштейна (или, другими словами, дает значение в диапазоне [0..1])

  private function nlevenshtein(s1:String, s2:String):Number {
     var tokens1:Array = s1.split(" ");
     var tokens2:Array = s2.split(" ");
     const len1:uint = tokens1.length, len2:uint = tokens2.length;
     var d:Vector.<Vector.<uint> >=new Vector.<Vector.<uint> >(len1+1);
     for(i=0; i<=len1; ++i)
        d[i] = new Vector.<uint>(len2+1);

     d[0][0]=0;

     var i:int;
     var j:int;

     for(i=1; i<=len1; ++i) d[i][0]=i; 
     for(i=1; i<=len2; ++i) d[0][i]=i;

     for(i = 1; i <= len1; ++i)
        for(j = 1; j <= len2; ++j)
           d[i][j] = Math.min( Math.min(d[i - 1][j] + 1,d[i][j - 1] + 1),
              d[i - 1][j - 1] + (tokens1[i - 1] == tokens2[j - 1] ? 0 : 1) );

     var nlevenshteinDist:Number = (d[len1][len2]) / (Math.max(len1, len2));

     return nlevenshteinDist;
  }

надеюсь, это поможет!

0

реализация В D обобщается на любой диапазон и, следовательно, массив. Поэтому, разделив ваши предложения на массивы строк, они могут быть запущены через алгоритм и будет предоставлен номер редактирования.

https://dlang.org/library/std/algorithm/comparison/levenshtein_distance.html

0