Сохранить pandas DataFrame с помощью h5py для взаимодействия с другими читателями hdf5

вот мой подход к решению этой проблемы. Я надеюсь, что у кого-то есть лучшее решение, или мой подход полезен другим.

во-первых, определите функцию, чтобы сделать массив структуры numpy (не массив записей) из фрейма данных pandas.

import numpy as np
def df_to_sarray(df):
    """
    Convert a pandas DataFrame object to a numpy structured array.
    This is functionally equivalent to but more efficient than
    np.array(df.to_array())

    :param df: the data frame to convert
    :return: a numpy structured array representation of df
    """

    v = df.values
    cols = df.columns
    types = [(cols[i].encode(), df[k].dtype.type) for (i, k) in enumerate(cols)]
    dtype = np.dtype(types)
    z = np.zeros(v.shape[0], dtype)
    for (i, k) in enumerate(z.dtype.names):
        z[k] = v[:, i]
    return z

использовать reset_index чтобы создать новый фрейм данных, который включает индекс как часть своих данных. Преобразуйте этот фрейм данных в структурный массив.

sa = df_to_sarray(df.reset_index())
sa

array([(1L, nan, 0.2, nan), (2L, nan, nan, 0.5), (3L, nan, 0.2, 0.5),
       (4L, 0.1, 0.2, nan), (5L, 0.1, 0.2, 0.5), (6L, 0.1, nan, 0.5),
       (7L, 0.1, nan, nan)], 
      dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])

Сохраните этот структурированный массив в hdf5 файл.

import h5py
with h5py.File('mydata.h5', 'w') as hf:
            hf['df'] = sa

загрузить набор данных h5

with h5py.File('mydata.h5') as hf:
            sa2 = hf['df'][:]

извлеките столбец ID и удалите его из sa2

ID = sa2['ID']
sa2 = nprec.drop_fields(sa2, 'ID')

сделать фрейм данных с индексом ID с помощью sa2

df2 = pd.DataFrame(sa2, index=ID)
df2.index.name = 'ID'

print(df2)

      A    B    C
ID               
1   NaN  0.2  NaN
2   NaN  NaN  0.5
3   NaN  0.2  0.5
4   0.1  0.2  NaN
5   0.1  0.2  0.5
6   0.1  NaN  0.5
7   0.1  NaN  NaN

в случае, если это полезно для кого угодно, я взял этот пост С Гийом и Фил, и изменил его немного для моих потребностей с помощью ankostis. Мы читаем фрейм данных pandas из CSV-файла.

в основном, я адаптировал его для Strings, потому что вы не можете хранить объект в файле HDF5 (я считаю). Сначала проверьте, какие типы столбцов numpy objects. Затем проверьте, какая длина этого столбца самая длинная, и исправьте этот столбец будь строкой такой длины. Остальное очень похоже на другой пост.

def df_to_sarray(df):
    """
    Convert a pandas DataFrame object to a numpy structured array.
    Also, for every column of a str type, convert it into 
    a 'bytes' str literal of length = max(len(col)).

    :param df: the data frame to convert
    :return: a numpy structured array representation of df
    """

    def make_col_type(col_type, col):
        try:
            if 'numpy.object_' in str(col_type.type):
                maxlens = col.dropna().str.len()
                if maxlens.any():
                    maxlen = maxlens.max().astype(int) 
                    col_type = ('S%s' % maxlen, 1)
                else:
                    col_type = 'f2'
            return col.name, col_type
        except:
            print(col.name, col_type, col_type.type, type(col))
            raise

    v = df.values            
    types = df.dtypes
    numpy_struct_types = [make_col_type(types[col], df.loc[:, col]) for col in df.columns]
    dtype = np.dtype(numpy_struct_types)
    z = np.zeros(v.shape[0], dtype)
    for (i, k) in enumerate(z.dtype.names):
        # This is in case you have problems with the encoding, remove the if branch if not
        try:
            if dtype[i].str.startswith('|S'):
                z[k] = df[k].str.encode('latin').astype('S')
            else:
                z[k] = v[:, i]
        except:
            print(k, v[:, i])
            raise

    return z, dtype

таким образом, рабочий процесс будет:

import h5py
import pandas as pd

# Read a CSV file
# Here we assume col_dtypes is a dictionary that contains the dtypes of the columns
df = pd.read_table('./data.csv', sep='\t', dtype=col_dtypes)
# Transform the DataFrame into a structured numpy array and get the dtype
sa, saType = df_to_sarray(df)

# Open/create the HDF5 file
f = h5py.File('test.hdf5', 'a')
# Save the structured array
f.create_dataset('someData', data=sa, dtype=saType)
# Retrieve it and check it is ok when you transform it into a pandas DataFrame
sa2 = f['someData'][:]
df2 = pd.DataFrame(sa2)
print(df2.head())
f.close()

и, таким образом, вы можете увидеть его из hdfview выступает даже при использовании gzip сжатия например.