Как эффективно анализировать файл bigdata json (wikidata) на C++?

напишите свой собственный парсер JSON, минимизирующий распределение и перемещение данных. Также канава мульти символ для прямой ANSI. Однажды я написал синтаксический анализатор XML для анализа Xml-файлов 4GB. Я попробовал MSXML и Xerces, у обоих были незначительные утечки памяти,которые при использовании этого количества данных фактически заканчивались. Мой парсер фактически остановит выделение памяти, как только достигнет максимального уровня вложенности.

ваше определение проблема не позволяет дать точный ответ.

интересно, почему вы хотите придерживаться JSON в первую очередь. Это конечно не самый лучший формат для быстрого доступа к большим данным.

Если вы интенсивно используете данные wikia, почему бы не преобразовать их в более управляемый формат?

должно быть легко автоматизировать определение БД, которое соответствует формату ваших записей, и преобразовать большой кусок JSON в DB записывает раз и навсегда.

вы можете остановить преобразование БД в любой момент (т. е. сохранить каждый блок JSON как обычный текст или уточнить его дальше).
В минимальном случае вы получите таблицу БД с индексированными по имени и ключу записями.
Конечно, менее грязно, чем использование вашей файловой системы в качестве базы данных (путем создания миллионов файлов с именем name+key) или написания выделенного кода для поиска записей.

Это, вероятно, сэкономит вам много диска пространство тоже, так как внутреннее хранилище БД обычно более эффективно, чем простое текстовое представление.

Я сделал немного разбора данных из Википедии. Меня особенно интересует извлечение уравнений, поэтому меня интересует только часть файла.

во-первых, если его данные Викимедиа вас интересуют, гораздо проще получить учетную запись Labs. Это займет около дня, и это позволит вам запустить большую часть кода на своих машинах, избегая необходимости загрузки нескольких гигабайт. С учетной записью Labs вы должны иметь возможность запускать код на довольно актуальной репликации база данных избегает необходимости json полностью.

Я использую простую программу python для анализа данных, которые он в основном запускает несколько регулярных выражений на каждой строке; один, чтобы найти строки, содержащие <title>...</title> поэтому я знаю, какая статья Википедии это и еще несколько, чтобы найти пространство имен и теги математики. Он может обрабатывать файл 160MB за 13 секунд, поэтому может сделать все 36GB менее чем за час.

этот код создает текстовые файлы только с данными, которые меня интересуют. Если вам интересно код

import sys
import re

dump = len(sys.argv)>1 and sys.argv[1]=='-d'
titleRE = re.compile('<title>(.*)</title>')
nsRE = re.compile('<ns>(.*)</ns>')
mathRE = re.compile('&lt;/?math(.*?)&gt;')
pageEndRE = re.compile('</page>')
supOc = 0
supCc = 0
subOc = 0
subCc = 0

title =""
attr = ""
ns = -1
inEqn = 0
for line in sys.stdin:
    m = titleRE.search(line)
    if m :
        title = m.group(1)
        expression = ""
        if dump : print line
        inEqn = 0
    m = nsRE.search(line)
    if m :
        ns = m.group(1)
    start = 0
    pos = 0
    m = mathRE.search(line,pos)
    while m :
        if m.group().startswith('&lt;math'):
            attr = m.group(1)
            start = m.end()
            pos = start
            expression = ""
            inEqn = 1
        if m.group() == '&lt;/math&gt;' :
            end = m.start()
            expression = '    '.join([expression,line[start:end]])
            print title,'\t',attr,'\t',expression.lstrip().replace('&lt;','<').replace('&gt;',
'>').replace('&amp;','&')
            pos = m.end()
            expression = ""
            start = 0
            inEqn = 0
        m = mathRE.search(line,pos)
    if start > 0 :
        expression = line[start:].rstrip()
    elif inEqn :
        expression = '    '.join([expression,line.rstrip()])

Извините, если это немного загадочно, но это не было для общественного потребления. Пример вывода составляет

Arithmetic mean         a_1,\ldots,a_n.
Arithmetic mean         A
Arithmetic mean         A=\frac{1}{n}\sum_{i=1}^{n} a_i
Arithmetic mean         \bar{x}

каждая строка имеет название статьи и уравнения latex. Это уменьшает данные, с которыми мне нужно работать, до более управляемых 500k. Я не уверен, что такая стратегия будет работать для вашего приложения.

для основных данных enwiki разделите XML-дампы на 27 меньших файлов примерно одинакового размера. Вы можете найти несколько разумных размер файлов, проще работать с чем либо один гигантский файл или миллионы крошечных файлов. Это может быть легко разделить на первую букву в названии статьи, давая менее ста файлов каждый меньше гигабайта.