панды читают csv и фильтруют столбцы с помощью usecols
у меня есть файл csv, который не входит правильно с pandas.read_csv когда я фильтрую столбцы с usecols и использовать несколько индексов.
import pandas as pd
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
f = open('foo.csv', 'w')
f.write(csv)
f.close()
df1 = pd.read_csv('foo.csv',
header=0,
names=["dummy", "date", "loc", "x"],
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"])
print df1
# Ignore the dummy columns
df2 = pd.read_csv('foo.csv',
index_col=["date", "loc"],
usecols=["date", "loc", "x"], # <----------- Changed
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
print df2
Я ожидаю, что df1 и df2 должны быть одинаковыми, за исключением отсутствующего фиктивного столбца, но столбцы имеют неправильную маркировку. Кроме того, дата анализируется как дата.
In [118]: %run test.py
dummy x
date loc
2009-01-01 a bar 1
2009-01-02 a bar 3
2009-01-03 a bar 5
2009-01-01 b bar 1
2009-01-02 b bar 3
2009-01-03 b bar 5
date
date loc
a 1 20090101
3 20090102
5 20090103
b 1 20090101
3 20090102
5 20090103
использование номеров столбцов вместо имен дает мне ту же проблему. Я могу обойти проблему, отбросив фиктивный столбец после в read_csv шаг, но я пытаюсь понять, что происходит. Я использую pandas 0.10.1.
edit: исправлено плохое использование заголовка.
4 ответов
ответ @chip полностью пропускает точку двух аргументов ключевого слова.
- имена нужно только тогда, когда нет заголовка, и вы хотите указать другие аргументы, используя имена столбцов, а не целочисленных индексов.
- usecols предполагается предоставить фильтр перед чтением всего фрейма данных в память; при правильном использовании никогда не должно быть необходимости удалять столбцы после чтения.
этот решение исправляет эти странности:
import pandas as pd
from StringIO import StringIO
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
df = pd.read_csv(StringIO(csv),
header=0,
index_col=["date", "loc"],
usecols=["date", "loc", "x"],
parse_dates=["date"])
что дает нам:
x
date loc
2009-01-01 a 1
2009-01-02 a 3
2009-01-03 a 5
2009-01-01 b 1
2009-01-02 b 3
2009-01-03 b 5
этот код достигает того, что вы хотите - - - также его странно и, безусловно, багги:
я заметил, что он работает, когда:
a) вы указываете index_col rel. к числу столбцов, которые вы действительно используете - так что его три столбца в этом примере, а не четыре (вы drop dummy и начать отсчет с этого момента)
b) то же самое для parse_dates
C) не так usecols ;) по понятным причинам
d) здесь я адаптировал names зеркало этого поведение
import pandas as pd
from StringIO import StringIO
csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""
df = pd.read_csv(StringIO(csv),
index_col=[0,1],
usecols=[1,2,3],
parse_dates=[0],
header=0,
names=["date", "loc", "", "x"])
print df
, который печатает
x
date loc
2009-01-01 a 1
2009-01-02 a 3
2009-01-03 a 5
2009-01-01 b 1
2009-01-02 b 3
2009-01-03 b 5
Если ваш CSV-файл содержит дополнительные данные, столбцы могут быть удалены из фрейма данных после импорта.
import pandas as pd
from StringIO import StringIO
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
df = pd.read_csv(StringIO(csv),
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
del df['dummy']
что дает нам:
x
date loc
2009-01-01 a 1
2009-01-02 a 3
2009-01-03 a 5
2009-01-01 b 1
2009-01-02 b 3
2009-01-03 b 5