Выделение и сокращение признаков для классификации текста

Это, вероятно, немного поздно к столу, но...

Как указывает Bee, и вы уже знаете, использование SVM в качестве классификатора впустую, если вы уже потеряли информацию на этапах до классификации. Однако процесс классификации текста требует гораздо большего, чем просто несколько этапов, и каждый этап оказывает значительное влияние на результат. Поэтому, прежде чем рассматривать более сложные меры выбора функций, существует ряд гораздо более простых возможности, которые обычно требуют гораздо меньшего потребления ресурсов.

вы предварительно обрабатываете документы перед выполнением tokensiation / representation в формате мешка слов? Простое удаление стоп-слов или знаков препинания может значительно повысить точность.

вы рассматривали возможность изменения вашего представления мешка слов, чтобы использовать, например, пары слов или n-граммы вместо этого? Вы можете обнаружить, что у вас есть больше размеры, но они конденсируются вниз лот дальше и содержит больше полезной информации.

также стоит отметить, что снижение размера is выбор функций / извлечение функций. Разница в том, что выбор функций уменьшает размеры одномерным образом, т. е. удаляет термины на индивидуальной основе, как они в настоящее время появляются, не изменяя их, тогда как извлечение функций (о котором, я думаю, говорит Бен Эллисон) является многовариантным, объединяя один или несколько отдельных терминов вместе, чтобы произвести высшее orthangonal термины, которые (надеюсь) содержат больше информации и сократить признаковое пространство.

Что касается вашего использования частоты документов, вы просто используете вероятность / процент документов, содержащих термин, или вы используете плотность терминов, найденных в документах? Если категория один имеет только 10 дументов, и каждый из них содержит термин один раз, то категория один действительно связана с документом. Однако, если категория имеет только 10 документов, каждый из которых содержит один и тот же термин сто раз каждый, тогда очевидно, что категория два имеет гораздо более высокое отношение к этому термину, чем категория один. Если плотность терминов не учитывается, эта информация теряется, и чем меньше категорий вы имеете, тем большее влияние эта потеря оказывает. Аналогичным образом, не всегда благоразумно сохранять термины только с высокой частотой, поскольку они могут фактически не предоставлять никакой полезной информации. Например, если термин появляется сто раз в каждом документе, то это считается термином шума, и, хотя он выглядит важным, нет практической ценности в его сохранении в вашем наборе функций.

также как вы индексируете данные, используете ли вы векторную модель пространства с простым булевым индексированием или более сложной мерой, такой как TF-IDF? Учитывая небольшое количество категорий в вашем сценарии, более сложная мера будет полезна, поскольку они могут учитывать важность термина для каждой категории по отношению к ее важности во всем набор данных.

лично я бы сначала поэкспериментировал с некоторыми из вышеперечисленных возможностей, а затем рассмотрел бы настройку выбора/извлечения функции с помощью (или комбинации) сложных уравнений, если вам нужно дополнительное повышение производительности.

дополнительные

на основе новой информации, это звучит так, как будто вы находитесь на правильном пути и 84%+ точность (F1 или BEP-точность и отзыв на основе многоклассовых проблем), как правило, считается очень хорошим для большинства наборов данных. Возможно, вы уже успешно приобрели все информационные функции из данных или некоторые из них все еще обрезаются.

сказав это, что-то, что можно использовать в качестве предиктора того, насколько хорошим агрессивным может быть уменьшение размера для конкретного набора данных, является анализ количества выбросов, который использует снижение информационного выигрыша в внешних объектах, чтобы определить, насколько вероятно, что информация будет потеряна во время функции выбор. Вы можете использовать его на необработанных и / или обработанных данных, чтобы дать оценку того, насколько агрессивно вы должны стремиться обрезать функции (или отменить их в зависимости от случая). Документ, описывающий это, можно найти здесь:

бумага с информацией о выбросах

Что касается описания TF-IDF как метода индексирования, вы правы в том, что он является мерой взвешивания функций, но я считаю, что он используется в основном как часть процесса индексирования (хотя он может также используйте для уменьшения размера). Причиной этого является то, что некоторые меры лучше направлены на выбор/извлечение объектов, в то время как другие предпочтительны для взвешивания объектов конкретно в векторах документа (т. е. индексированных данных). Это, как правило, объясняется тем, что меры по сокращению размеров определяются на основе каждой категории, в то время как меры по взвешиванию индексов, как правило, в большей степени ориентированы на документ, с тем чтобы обеспечить более высокое векторное представление.

в отношении LDA, LSI и moVMF, боюсь, у меня слишком мало опыта в них, чтобы дать какое-либо руководство. К сожалению, я также не работал с турецкими наборами данных или языком python.