Учебный наивный классификатор Байеса на ngrams

Я использую библиотека классификаторов Ruby to классифицировать политику конфиденциальности. Я пришел к выводу, что простого подхода к сумке слов, встроенного в эту библиотеку, недостаточно. Чтобы повысить точность классификации, я хочу обучить классификатор на n-граммах в дополнение к отдельным словам.

Мне было интересно, есть ли библиотека для предварительной обработки документов, чтобы получить соответствующие n-граммы (и правильно разобраться с пунктуацией). Одна мысль заключалась в том, что я мог предварительно обработать документы и ввести псевдо-ngrams в Классификатор Ruby, например:

wordone_wordtwo_wordthree

или, может быть, есть лучший способ сделать это, например, библиотека, которая имеет Ngram на основе наивной классификации Байеса, встроенной в нее из getgo. Я открыт для использования языков, отличных от Ruby, если они выполняют работу (Python кажется хорошим кандидатом, если нужно).

10
classification machine-learning nlp python ruby

2 ответов

Если вы в порядке с python, я бы сказал в nltk было бы идеально для вас.

например:

>>> import nltk
>>> s = "This is some sample data.  Nltk will use the words in this string to make ngrams.  I hope that this is useful.".split()
>>> model = nltk.NgramModel(2, s)
>>> model._ngrams
set([('to', 'make'), ('sample', 'data.'), ('the', 'words'), ('will', 'use'), ('some', 'sample'), ('', 'This'), ('use', 'the'), ('make', 'ngrams.'), ('ngrams.', 'I'), ('hope', 'that'
), ('is', 'some'), ('is', 'useful.'), ('I', 'hope'), ('this', 'string'), ('Nltk', 'will'), ('words', 'in'), ('this', 'is'), ('data.', 'Nltk'), ('that', 'this'), ('string', 'to'), ('
in', 'this'), ('This', 'is')])

у вас даже есть метод nltk.NaiveBayesClassifier

11
>> s = "She sells sea shells by the sea shore"
=> "She sells sea shells by the sea shore"
>> s.split(/ /).each_cons(2).to_a.map {|x,y| x + ' ' +  y}
=> ["She sells", "sells sea", "sea shells", "shells by", "by the", "the sea", "sea shore"]

перечисляемые Ruby имеют метод enum_cons, который возвращает каждый из n последовательных элементов из перечисляемого. С помощью этого метода генерирование ngrams является простым лайнером.

3