Ошибка размера CSV Bulkloader

Bulkloader вызывает следующую ошибку при импорте CSV-файла с большими ячейками:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

это общая проблема для модуля csv, которая может быть исправлена с помощью:

csv.field_size_limit(sys.maxint)

Как я могу заставить bulkloader выполнить это?

10
bulkloader google-app-engine python

1 ответов

попробуйте это:

в bulkloader.yaml добавить:

python_preamble:
- import: csv_fix
... # the rest of your imports

In csv_fix.py добавить:

import csv, sys
csv.field_size_limit(sys.maxint)
8