Вычисление попарной корреляции между всеми столбцами

Я работаю с большим биологическим набором данных.

Я хочу вычислить PCC (коэффициент корреляции Пирсона) всех комбинаций 2-столбцов в моей таблице данных и сохранить результат как DataFrame или CSV-файл.

таблица данных выглядит следующим образом: столбцы-это имя генов, а строки-код набора данных. Числа float означают, сколько ген активируется в наборе данных.

      GeneA GeneB GeneC ...
DataA 1.5 2.5 3.5 ...
DataB 5.5 6.5 7.5 ...
DataC 8.5 8.5 8.5 ...
...

в качестве вывода я хочу построить таблицу (DataFrame или csv-файл), как ниже, потому что scipy.статистика.функция pearsonr возвращает (PCC, p-значение). В моем примере, XX и YY означают результаты pearsonr([1.5, 5.5, 8.5], [2.5, 6.5, 8.5]). Таким же образом, ZZ и AA означают результат pearsonr([1.5, 5.5, 8.5], [3.5, 7.5, 8.5]). Мне не нужны избыточные данные, такие как GeneB_GeneA или GeneC_GeneB в моем тесте.

               PCC P-value
GeneA_GeneB    XX YY
GeneA_GeneC    ZZ AA
GeneB_GeneC    BB CC
...

поскольку количество столбцов и строк много(более 100), а их имена сложны, использование имен столбцов или имен строк будет трудный.

это может быть простой проблемой для экспертов, я не знаю, как обращаться с такого рода таблицей с библиотекой python и pandas. Особенно создание нового фрейма данных и добавление результата кажется очень сложным.

извините за мое плохое объяснение, но я надеюсь, что кто-то может мне помочь.

8
correlation pandas python

2 ответов

from pandas import *
import numpy as np
from libraries.settings import *
from scipy.stats.stats import pearsonr
import itertools

создание случайных выборочных данных:

df = DataFrame(np.random.random((5, 5)), columns=['gene_' + chr(i + ord('a')) for i in range(5)]) 
print(df)

     gene_a    gene_b    gene_c    gene_d    gene_e
0  0.471257  0.854139  0.781204  0.678567  0.697993
1  0.292909  0.046159  0.250902  0.064004  0.307537
2  0.422265  0.646988  0.084983  0.822375  0.713397
3  0.113963  0.016122  0.227566  0.206324  0.792048
4  0.357331  0.980479  0.157124  0.560889  0.973161

correlations = {}
columns = df.columns.tolist()

for col_a, col_b in itertools.combinations(columns, 2):
    correlations[col_a + '__' + col_b] = pearsonr(df.loc[:, col_a], df.loc[:, col_b])

result = DataFrame.from_dict(correlations, orient='index')
result.columns = ['PCC', 'p-value']

print(result.sort_index())

                     PCC   p-value
gene_a__gene_b  0.461357  0.434142
gene_a__gene_c  0.177936  0.774646
gene_a__gene_d -0.854884  0.064896
gene_a__gene_e -0.155440  0.802887
gene_b__gene_c -0.575056  0.310455
gene_b__gene_d -0.097054  0.876621
gene_b__gene_e  0.061175  0.922159
gene_c__gene_d -0.633302  0.251381
gene_c__gene_e -0.771120  0.126836
gene_d__gene_e  0.531805  0.356315
  • получить уникальные сочетания DataFrame столбцы с помощью itertools.combination(iterable, r)
  • повторите эти комбинации и вычислите попарные корреляции, используя scipy.stats.stats.personr
  • добавить результаты (PCC и p-value Кортеж) в dictionary
  • построить DataFrame С dictionary

вы также можете сохранить result.to_csv(). Возможно, Вам будет удобно использовать MultiIndex (две колонки содержащие имена каждого столбца) вместо созданных имен для попарных корреляций.

9

чтобы получить пары, это combinations проблема. Ты можешь!--2--> все строки в результат dataframe.

from pandas import *
from itertools import combinations
df = pandas.read_csv('gene.csv')
# get the column names as list, which are gene names
column_list = df.columns.values.tolist()
result = []
for c in combinations(column_list, 2):
    firstGene, secondGene = c
    firstGeneData = df[firstGene].tolist()
    secondGeneData = df[secondGene].tolist()
    # now to get the PCC, P-value using scipy
    pcc = ...
    p-value = ...
    result.append(pandas.DataFrame([{'PCC': pcc, 'P-value': p-value}], index=str(firstGene)+ '_' + str(secondGene), columns=['PCC', 'P-value'])

result_df = pandas.concat(result)
#result_df.to_csv(...)
2