Как заменить NA на среднее по подмножеству в R (вменить в plyr?)

у меня есть фрейм данных с длиной и шириной различных членистоногих из кишок саламандр. Поскольку некоторые кишки имели тысячи определенных предметов добычи, я измерял только подмножество каждого типа добычи. Теперь я хочу заменить каждого неизмеримого человека средней длиной и шириной для этой добычи. Я хочу сохранить фрейм данных и просто добавить вменяемые столбцы (length2, width2). Основная причина в том, что каждая строка также имеет столбцы с данными о дате и месте сбора саламандры. Я можно было бы заполнить NA случайным выбором измеряемых индивидуумов, но для аргументации предположим,что я просто хочу заменить каждый NA средним.

например, представьте, что у меня есть фрейм данных, который выглядит примерно так:

id    taxa        length  width
101   collembola  2.1     0.9
102   mite        0.9     0.7
103   mite        1.1     0.8
104   collembola  NA      NA
105   collembola  1.5     0.5
106   mite        NA      NA

на самом деле у меня больше столбцов и около 25 различных таксонов и в общей сложности ~30 000 предметов добычи. Кажется, что пакет plyr может быть идеальным для этого, но я просто не могу понять, как это сделать. Я не очень Р или Программирование подкованное, но я пытаюсь учиться.

не то, чтобы я знаю, что делаю, но я попытаюсь создать небольшой набор данных для игры, если это поможет.

exampleDF <- data.frame(id = seq(1:100), taxa = c(rep("collembola", 50), rep("mite", 25), 
rep("ant", 25)), length = c(rnorm(40, 1, 0.5), rep("NA", 10), rnorm(20, 0.8, 0.1), rep("NA", 
5), rnorm(20, 2.5, 0.5), rep("NA", 5)), width = c(rnorm(40, 0.5, 0.25), rep("NA", 10), 
rnorm(20, 0.3, 0.01), rep("NA", 5), rnorm(20, 1, 0.1), rep("NA", 5)))

вот несколько вещей, которые я пробовал (которые не сработали):

# mean imputation to recode NA in length and width with means 
  (could do random imputation but unnecessary here)
mean.imp <- function(x) { 
  missing <- is.na(x) 
  n.missing <-sum(missing) 
  x.obs <-a[!missing] 
  imputed <- x 
  imputed[missing] <- mean(x.obs) 
  return (imputed) 
  } 

mean.imp(exampleDF[exampleDF$taxa == "collembola", "length"])

n.taxa <- length(unique(exampleDF$taxa))
for(i in 1:n.taxa) {
  mean.imp(exampleDF[exampleDF$taxa == unique(exampleDF$taxa[i]), "length"])
} # no way to get back into dataframe in proper places, try plyr?

еще одна попытка:

imp.mean <- function(x) {
  a <- mean(x, na.rm = TRUE)
  return (ifelse (is.na(x) == TRUE , a, x)) 
 } # tried but not sure how to use this in ddply

Diet2 <- ddply(exampleDF, .(taxa), transform, length2 = function(x) {
  a <- mean(exampleDF$length, na.rm = TRUE)
  return (ifelse (is.na(exampleDF$length) == TRUE , a, exampleDF$length)) 
  })

любые предложения с использованием plyr или нет?

14
na plyr r subset

3 ответов

не моя собственная техника я видел ее на досках некоторое время назад:

dat <- read.table(text = "id    taxa        length  width
101   collembola  2.1     0.9
102   mite        0.9     0.7
103   mite        1.1     0.8
104   collembola  NA      NA
105   collembola  1.5     0.5
106   mite        NA      NA", header=TRUE)


library(plyr)
impute.mean <- function(x) replace(x, is.na(x), mean(x, na.rm = TRUE))
dat2 <- ddply(dat, ~ taxa, transform, length = impute.mean(length),
     width = impute.mean(width))

dat2[order(dat2$id), ] #plyr orders by group so we have to reorder

редактировать подход non plyr с for петли:

for (i in which(sapply(dat, is.numeric))) {
    for (j in which(is.na(dat[, i]))) {
        dat[j, i] <- mean(dat[dat[, "taxa"] == dat[j, "taxa"], i],  na.rm = TRUE)
    }
}

редактировать много лун спустя вот a данные.таблица & dplyr подход:

данные.таблица

library(data.table)
setDT(dat)

dat[, length := impute.mean(length), by = taxa][,
    width := impute.mean(width), by = taxa]

dplyr

library(dplyr)

dat %>%
    group_by(taxa) %>%
    mutate(
        length = impute.mean(length),
        width = impute.mean(width)  
    )
38

прежде чем ответить на это, я хочу сказать, что я новичок в R. поэтому, пожалуйста, дайте мне знать, если вы чувствуете, что мой ответ неправильный.

код:

DF[is.na(DF$length), "length"] <- mean(na.omit(telecom_original_1$length))

и применить то же самое для ширины.

DF означает имя данных.рамка.

спасибо, Parthi

2

расширение решения @Tyler Rinker, предположим features столбцы для вменения. В этом случае features <- c('length', 'width'). Затем с помощью data.table решение приобретает следующий вид:

library(data.table)
setDT(dat)

dat[, (features) := lapply(.SD, impute.mean), by = taxa, .SDcols = features]
0