Как прочитать N случайных строк из файла без сохранения файла в памяти?

теперь мой Perl не то, что раньше, но доверяя неявному утверждению о вашей ссылке (что распределение номеров строк, выбранных таким образом, однородно), похоже, это должно работать:

srand;
(rand($.) < 1 && ($line1 = $_)) || (rand($.) <1 && ($line2 = $_)) while <>;

Как и исходный алгоритм, это однопроходная и постоянная память.

редактировать Я просто понял, что вам нужно N, а не 2. Выражение OR-ed можно повторить N раз, если заранее знать.

довольно первый раз, когда я вижу какой-то код Perl ... это невероятно нечитабельно ... ;) Но это не важно. Почему бы вам просто не повторить загадочную строку N раз?

Если бы мне пришлось написать это, я бы просто искал случайную позицию в файле, читал до конца строки (следующая новая строка), а затем читал одну строку до следующей новой строки. Добавьте некоторую обработку ошибок, если вы только что видели в последней строке, повторите все это N раз, и все готово. Я думаю

srand;
rand($.) < 1 && ($line = $_) while <>;

- Это способ Perl сделать такой один шаг. Вы также можете прочитать назад от начальной позиции до новой строки priviouse или начала файла, а затем снова прочитать строку вперед. Но это не имеет значения.

обновление

Я должен признать, что поиск где-то в файле не будет генерировать идеальное равномерное распределение из-за разных длин строк. Если эта флуктуация имеет значение, зависит от использования сценарий, конечно.

Если вам нужно идеальное равномерное распределение, вам нужно прочитать весь файл хотя бы один раз, чтобы получить количество строк. В этом случае алгоритм, заданный Guffa, вероятно, является самым умным решением, потому что он требует чтения файла ровно один раз.

Если вам не нужно делать это в рамках языка Perl Шуфа - Это очень хорошая утилита командной строки для этого. Чтобы сделать то, что вы хотите сделать:

$ shuf -n N file > newfile

быстрый и грязный Баш

function randomLine {
  numlines=`wc -l | awk {'print '}`
  t=`date +%s`
  t=`expr $t + $RANDOM`
  a=`expr $t % $numlines + 1`
  RETURN=`head -n $a |tail -n 1`
  return 0
}

randomLine test.sh
echo $RETURN

выберите случайную точку в файле, посмотрите назад для предыдущего EOL, найдите вперед для текущего EOL и верните строку.

FILE * file = fopen("words.txt");
int fs = filesize("words.txt");
int ptr = rand(fs); // 0 to fs-1
int start = min(ptr - MAX_LINE_LENGTH, 0);
int end = min(ptr + MAX_LINE_LENGTH, fs - 1);
int bufsize = end - start;

fseek(file, start);
char *buf = malloc(bufsize);
read(file, buf, bufsize);

char *startp = buf + ptr - start;
char *finp = buf + ptr - start + 1;

while (startp > buf  && *startp != '\n') {
    startp--;
}

while (finp < buf + bufsize && *finp != '\n') {
    finp++;
}

*finp = '';
startp++;
return startp;

много ошибок и дерьмо там, плохое управление памятью и другие ужасы. Если это действительно компилируется, вы получаете никель. (Пожалуйста, отправьте конверт с печатью и $ 5, чтобы получить бесплатный никель.)

но вы должны уловить идею.

более длинные строки статистически имеют более высокий шанс быть выделено чем более короткие строки. Но время выполнения этого фактически постоянно, независимо от размера файла. Если у вас есть много слов в основном одинаковой длины, статистики не будут счастливы (они никогда не будут), но на практике это будет достаточно близко.

Я говорю:

• прочитайте файл и найдите количество \n. Это количество строк-назовем это L
• хранить свои позиции в небольшом массиве в
• получить две случайные строки ниже, чем L, принесите их смещения, и все готово.

вы бы использовали только небольшой массив и прочитали весь файл один раз + 2 строки после этого.

вы можете сделать алгоритм 2 прохода. Сначала получите позиции каждой новой строки, толкая эти позиции в вектор. Затем выберите случайные элементы в этом векторе, назовите это i.

чтение из файла в позиции v[i] в v[i+1], чтобы получить вашу строку.

во время первого прохода Вы читаете файл с небольшим буфером, чтобы не читать его сразу в ОЗУ.