Сравните два CSV-файла и найдите похожие элементы
Итак, у меня есть два CSV-файлов, которые я пытаюсь сравнить и получить результаты аналогичных товаров. Первый файл, hosts.csv показан ниже:
Path Filename Size Signature
C: a.txt 14kb 012345
D: b.txt 99kb 678910
C: c.txt 44kb 111213
второй файл, мастер-лист.csv показан ниже:
Filename Signature
b.txt 678910
x.txt 111213
b.txt 777777
c.txt 999999
как вы можете видеть строки не совпадают и мастерлист.csv всегда больше, чем хосты.CSV-файл. Единственная часть, которую я хотел бы найти, - это часть подписи. Я знаю, что это будет выглядеть так:
hosts[3] == masterlist[1]
Я ищу решение, которое даст мне что-то вроде следующего (в основном хозяева.csv-файл с новым столбцом результатов):
Path Filename Size Signature RESULTS
C: a.txt 14kb 012345 NOT FOUND in masterlist
D: b.txt 99kb 678910 FOUND in masterlist (row 1)
C: c.txt 44kb 111213 FOUND in masterlist (row 2)
Я искал посты и нашел что-то похожее на это здесь но я не совсем понимаю это, так как я все еще изучаю python.
редактировать Использование Python 2.6
4 ответов
Edit: пока мое решение работает правильно, проверьте ответ Martijn ниже для более эффективного решения.
вы можете найти документацию для модуля Python CSV здесь.
то, что вы ищете что-то вроде этого:
import csv
f1 = file('hosts.csv', 'r')
f2 = file('masterlist.csv', 'r')
f3 = file('results.csv', 'w')
c1 = csv.reader(f1)
c2 = csv.reader(f2)
c3 = csv.writer(f3)
masterlist = list(c2)
for hosts_row in c1:
row = 1
found = False
for master_row in masterlist:
results_row = hosts_row
if hosts_row[3] == master_row[1]:
results_row.append('FOUND in master list (row ' + str(row) + ')')
found = True
break
row = row + 1
if not found:
results_row.append('NOT FOUND in master list')
c3.writerow(results_row)
f1.close()
f2.close()
f3.close()
ответ srgerg ужасно неэффективен, так как он работает в квадратичном времени; вместо этого используется линейное временное решение с использованием синтаксиса, совместимого с Python 2.6:
import csv
with open('masterlist.csv', 'rb') as master:
master_indices = dict((r[1], i) for i, r in enumerate(csv.reader(master)))
with open('hosts.csv', 'rb') as hosts:
with open('results.csv', 'wb') as results:
reader = csv.reader(hosts)
writer = csv.writer(results)
writer.writerow(next(reader, []) + ['RESULTS'])
for row in reader:
index = master_indices.get(row[3])
if index is not None:
message = 'FOUND in master list (row {})'.format(index)
else:
message = 'NOT FOUND in master list'
writer.writerow(row + [message])
это создает словарь, отображение сигнатур из masterlist.csv
сначала номер строки. Поиск в словаре занимает постоянное время, делая второй цикл над hosts.csv
строк зависит от количества строк в masterlist.csv
. Не говоря уже о коде, который намного проще.
в Python CSV-файла и модуль коллекций, в частности OrderedDict, очень полезно здесь. Вы хотите использовать OrderedDict для сохранения порядка ключей и т. д. Не обязательно, но это полезно!
import csv
from collections import OrderedDict
signature_row_map = OrderedDict()
with open('hosts.csv') as file_object:
for line in csv.DictReader(file_object, delimiter='\t'):
signature_row_map[line['Signature']] = {'line': line, 'found_at': None}
with open('masterlist.csv') as file_object:
for i, line in enumerate(csv.DictReader(file_object, delimiter='\t'), 1):
if line['Signature'] in signature_row_map:
signature_row_map[line['Signature']]['found_at'] = i
with open('newhosts.csv', 'w') as file_object:
fieldnames = ['Path', 'Filename', 'Size', 'Signature', 'RESULTS']
writer = csv.DictWriter(file_object, fieldnames, delimiter='\t')
writer.writer.writerow(fieldnames)
for signature_info in signature_row_map.itervalues():
result = '{0} FOUND in masterlist {1}'
# explicit check for sentinel
if signature_info['found_at'] is not None:
result = result.format('', '(row %s)' % signature_info['found_at'])
else:
result = result.format('NOT', '')
payload = signature_info['line']
payload['RESULTS'] = result
writer.writerow(payload)
вот результат, используя ваши тестовые CSV-файлы:
Path Filename Size Signature RESULTS
C:\ a.txt 14kb 012345 NOT FOUND in masterlist
D:\ b.txt 99kb 678910 FOUND in masterlist (row 1)
C:\ c.txt 44kb 111213 FOUND in masterlist (row 2)
пожалуйста, извините за несоосность, они разделены вкладками:)
на csv
модуль пригодится при разборе csv-файлов. Но просто для удовольствия я просто разделяю входные данные на пробелы, чтобы получить данные.
просто проанализируйте данные, создайте dict
для данных в masterlist.csv с подписью в качестве ключа и номером строки в качестве значения. Теперь для каждого ряда хостов.csv, мы можем просто запросить dict
и выяснить, существует ли соответствующая запись в masterlist.csv и если да, то в какой строке.
#! /usr/bin/env python
def read_data(filename):
input_source=open(filename,'r')
input_source.readline()
return [line.split() for line in input_source]
if __name__=='__main__':
hosts=read_data('hosts.csv')
masterlist=read_data('masterlist.csv')
master=dict()
for index,data in enumerate(masterlist):
master[data[-1]]=index+1
for row in hosts:
try:
found="FOUND in masterlist (row %s)"%master[row[-1]]
except KeyError:
found="NOT FOUND in masterlist"
line=row+[found]
print "%s %s %s %s %s"%tuple(line)