Программа для работы с большими CSV-файлами [закрыто]

есть ли хорошие программы для чтения больших CSV-файлов? Некоторые из файлов данных, с которыми я имею дело, находятся в диапазоне 1 ГБ. У них слишком много строк для Excel, чтобы даже заниматься. Использование Access может быть немного медленным, так как вам нужно импортировать их в базу данных для работы с ними напрямую. Есть ли программа, которая может открыть большие файлы CSV и дать вам простой макет электронной таблицы, чтобы помочь вам легко и быстро сканировать данные?

11
csv load-data-infile

7 ответов

MySQL может импортировать CSV-файлы очень быстро в таблицы, используя LOAD DATA INFILE

8

Я нашел reCSVeditor - отличная программа для редактирования больших файлов CSV. Идеально для обнажать вне ненужные колонки. Я использовал его для файлов 1,000,000 record files довольно легко.

7

вэдит идеально подходит для этого. Я обычно открываю 100 + meg (я знаю, что вы сказали до одного концерта, я думаю, что они рекламируют на своем сайте, он может обрабатывать в два раза больше) файлы с ним. Он имеет поддержку regex и множество других функций. 70 долларов дешево за сумму, которую вы можете сделать с ним.

2

GVim может обрабатывать файлы такого размера бесплатно, если вы не подключены к статическому представлению размера электронной таблицы.

1

ведит отлично, но не забывайте, что вы всегда можете вернуться к "основам" проверить Cygwin и начать greping.

Полезные команды

  • глава
  • хвост
  • конечно perl!
0

Это зависит от того, что вы на самом деле хотите делать с данными. Учитывая большой текстовый файл, как это обычно требуется только меньшее подмножество данных в любой момент времени, поэтому не упускайте из виду такие инструменты, как "grep" для извлечения частей, которые вы хотите искать и работать.

0

Если вы можете поместить данные в память, и вам нравится python, я рекомендую проверить UniTable часть августа. (Отказ от ответственности: август с открытым исходным кодом (GPLv2), но я работаю в компании, которая его пишет.)

Это не очень хорошо документировано, но это должно помочь вам идти.

from augustus.kernel.unitable import *
a = UniTable().from_csv_file('filename')
b = a.subtbl(a['key'] == some_value) #creates a subtable

это не даст вам непосредственно excel, как интерфейс, но с небольшим количеством работы вы можете получить много статистики быстро.

0