Преобразование файла word2vec bin в текст

Я использую этот код для загрузки двоичной модели, а затем сохраняю модель в текстовый файл,

from gensim.models.keyedvectors import KeyedVectors

model = KeyedVectors.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)

ссылки: API и nullege.

Примечание:

выше код новая версия gensim. Для версия, я использовал этот код:

from gensim.models import word2vec

model = word2vec.Word2Vec.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)

формат IEEE 754 с одной точностью двоичный формат с плавающей запятой: binary32 http://en.wikipedia.org/wiki/Single-precision_floating-point_format Они используют Литтл-эндиан.

давайте сделаем пример:

• первая строка-формат строки: "3000000 300\n" (vocabSize & vecSize, getByte до байта== '\n')

• следующая строка включает vocab слово сперва, и после этого (300 * 4 байта значения поплавка, 4 байта для каждый dimension):

  getByte till byte==32 (space). (60 47 115 62 32 => <\s>[space])
  

• тогда каждый следующий 4 байт будет представлять одно число float

  следующий 4 байт: 0 0 -108 58 => 0.001129150390625.

вы можете проверить ссылку Википедии, чтобы увидеть, как, позвольте мне сделать это в качестве примера:

(little-endian -> обратный порядок) 00111010 10010100 00000000 00000000

• сначала знак bit = > sign = 1 (else = -1)
• следующие 8 бит = > 117 = > exp = 2^(117-127)
• следующие 23 бита = > pre = 0*2^(-1) + 0*2^(-2) + 1*2^(-3) + 1*2^(-5)

значение = знак * exp * pre

вы можете загрузить двоичный файл в word2vec, а затем сохранить текстовую версию следующим образом:

from gensim.models import word2vec
 model = word2vec.Word2Vec.load_word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)
 model.save("file.txt")

`

Я использую gensim для работы с GoogleNews-vectors-negative300.Бин и я включаем binary = True флаг при загрузке модели.

from gensim import word2vec

model = word2vec.Word2Vec.load_word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True) 

Кажется, работает нормально.

У меня была аналогичная проблема, я хотел получить вывод моделей bin/non-bin(gensim) как CSV.

вот код, который делает это на python, он предполагает, что у вас установлен gensim:

https://gist.github.com/dav009/10a742de43246210f3ba

convertvec это небольшой инструмент для преобразования векторов между различными форматами для библиотеки word2vec.

преобразование векторов из двоичного в обычный текст:

./ вход convertvec bin2txt.выход bin.txt

преобразование векторов из обычного текста в двоичный:

./ вход convertvec txt2bin.выход тхт.бин

вот код, который я использую:

import codecs
from gensim.models import Word2Vec

def main():
    path_to_model = 'GoogleNews-vectors-negative300.bin'
    output_file = 'GoogleNews-vectors-negative300_test.txt'
    export_to_file(path_to_model, output_file)


def export_to_file(path_to_model, output_file):
    output = codecs.open(output_file, 'w' , 'utf-8')
    model = Word2Vec.load_word2vec_format(path_to_model, binary=True)
    print('done loading Word2Vec')
    vocab = model.vocab
    for mid in vocab:
        #print(model[mid])
        #print(mid)
        vector = list()
        for dimension in model[mid]:
            vector.append(str(dimension))
        #line = { "mid": mid, "vector": vector  }
        vector_str = ",".join(vector)
        line = mid + "\t"  + vector_str
        #line = json.dumps(line)
        output.write(line + "\n")
    output.close()

if __name__ == "__main__":
    main()
    #cProfile.run('main()') # if you want to do some profiling

Если вы получите ошибку:

ImportError: No module named models.word2vec

тогда это потому, что было обновление API. Это сработает:

from gensim.models.keyedvectors import KeyedVectors

model = KeyedVectors.load_word2vec_format('./GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('./GoogleNews-vectors-negative300.txt', binary=False)

просто быстрое обновление, а теперь есть более простой способ.

если вы используете word2vec с https://github.com/dav/word2vec существует дополнительная опция под названием -binary которые принимают 1 для создания двоичного файла или 0 для создания текстового файла. Этот пример происходит от demo-word.sh в репо:

time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 15