Проверка, содержит ли строка английское предложение

вы можете ускорить поиск, используя алгоритм Кнута–Морриса–Пратта (KMP).

пройдите через каждое слово словаря, и построить таблицу поиска для него. Вам нужно сделать это только один раз. Теперь ваш поиск отдельных слов будет продолжаться в более быстром темпе, потому что "фальстарты" будут устранены.

как о Bloom Filter?

фильтр Bloom, задуманный Бертоном Говардом Блумом в 1970 году пространственно-эффективная вероятностная структура данных, используемая для тестирования является ли элемент членом набора. Ложные положительные матчи возможно, но ложных негативов нет; т. е. запрос возвращает либо "внутри набора (может быть неправильно) "или"определенно не в наборе". Элементы могут добавить в набор, но не удалить (хотя это можно решить с фильтр" подсчет"). Чем больше элементов добавляется к набор, тем больше вероятность ложных срабатываний.

подход может работать следующим образом: вы создаете набор слов, которые хотите проверить (это делается только один раз), а затем вы можете быстро запустить проверку "in/not-in" для каждой подстроки. Если результат "не-в", вы можете продолжить (фильтры Bloom не дают ложных негативов). Если результат "в", ВЫ затем запустите более сложную проверку для подтверждения (фильтры Bloom могут давать ложные срабатывания).

насколько я понимаю, некоторые проверки орфографии полагаются на фильтры bloom, чтобы быстро проверить, принадлежит ли ваше последнее слово к словарю известных слов.

теоретически, я думаю, вы должны быть в состоянии обучить Марковскую модель и использовать ее, чтобы решить, является ли строка, вероятно, предложением или, вероятно, мусором. Есть еще один вопрос об этом, чтобы распознавать слова, а не предложения: Как определить, звучит ли случайная строка как английский?

единственная разница для обучения на предложениях заключается в том, что ваши таблицы вероятностей будут немного больше. По моему опыту, современный настольный компьютер имеет более чем достаточно ОЗУ для обработки матриц Маркова, если вы не тренируетесь на всей библиотеке Конгресса (что необязательно - даже 5 или около того книг разных авторов должно быть достаточно для очень точной классификации).

поскольку ваши предложения объединены без четких границ слов, это немного сложно, но хорошая новость заключается в том, что модель Маркова не заботится о словах, просто о том, что следует за чем. Таким образом, вы можете заставить его игнорировать пробелы, сначала очистив все пробелы от ваших данных обучения. Если вы собирались использовать "Алису в Стране Чудес" в качестве учебного текста, первый абзац, возможно, будет выглядеть так:--3-->

alicewasbeginningtogetverytiredofsittingbyhersisteronthebankandofhavingnothingtodoonceortwiceshehadpeepedintothebookhersisterwasreadingbutithadnopicturesorconversationsinitandwhatistheuseofabookthoughtalicewithoutpicturesorconversation

Это выглядит странно, но что касается модели Маркова, это тривиальное отличие от классическая реализация.

Я вижу, что вас беспокоит время: обучение может занять несколько минут (при условии, что вы уже составили тексты "предложений" и "случайных скремблированных строк" золотого стандарта). Вам нужно тренироваться только один раз, вы можете легко сохранить "обученную" модель на диск и повторно использовать ее для последующих запусков, загрузив с диска, что может занять несколько секунд. Выполнение вызова строки займет тривиально небольшое количество умножений с плавающей запятой, чтобы получить вероятность, поэтому после того, как вы закончите обучение, это должно быть очень быстро.

этот код был изменен с как разделить текст без пробелов на список слов?:

from math import log

words = open("english125k.txt").read().split()
wordcost = dict((k, log((i+1)*log(len(words)))) for i,k in enumerate(words))
maxword = max(len(x) for x in words)

def infer_spaces(s):
    """Uses dynamic programming to infer the location of spaces in a string
    without spaces."""

    # Find the best match for the i first characters, assuming cost has
    # been built for the i-1 first characters.
    # Returns a pair (match_cost, match_length).
    def best_match(i):
        candidates = enumerate(reversed(cost[max(0, i-maxword):i]))
        return min((c + wordcost.get(s[i-k-1:i], 9e999), k+1) for k,c in candidates)

    # Build the cost array.
    cost = [0]
    for i in range(1,len(s)+1):
        c,k = best_match(i)
        cost.append(c)

    # Backtrack to recover the minimal-cost string.
    costsum = 0
    i = len(s)
    while i>0:
        c,k = best_match(i)
        assert c == cost[i]
        costsum += c
        i -= k

    return costsum

используя тот же словарь, что ответ и тестирование строковых выходов

>>> infer_spaces("hithisisastringthatmustbechecked")
294.99768817854056

трюк здесь заключается в том, чтобы выяснить, какой порог вы можете использовать, имея в виду, что использование меньших слов делает стоимость выше (если алгоритм не может найти полезного слова, он возвращает inf, так как он разделит все на одну букву речь.)