Параллельный R в кластере Windows

У меня есть сервер Windows HPC, работающий с некоторыми узлами в бэкэнде. Я хотел бы запустить Parallel R, используя несколько узлов из бэкэнда. Я думаю, что Parallel R может использовать снег на окнах, но не слишком уверен в этом. Мой вопрос в том, нужно ли устанавливать R также на бэкэнд-узлы? Скажем, я хочу использовать два узла, 32 ядра на узел:

cl <- makeCluster(c(rep("COMP01",32),rep("COMP02",32)),type="SOCK")

прямо сейчас, он просто зависает.

что еще мне нужно делать? Нужны ли бэкэнд-узлам какие-то sshd, работающие на сможете общаться друг с другом?

8
cluster-computing parallel-processing r snow

1 ответов

настройка snow в кластере Windows довольно сложно. Каждая из машин должна иметь R и snow установлен, но это легкая часть. Чтобы запустить кластер носков, вам понадобится демон sshd, работающий на каждой из рабочих машин, но вы все равно можете столкнуться с проблемами, поэтому я бы не рекомендовал его, если вы не хороши в отладке и системном администрировании Windows.

Я думаю, что ваш лучший вариант в кластере Windows-использовать MPI. У меня нет никакого опыта с MPI на Windows сам, но я слышал о людях, имеющих успех с дистрибутивами MPICH и DeinoMPI MPI для Windows. После того, как MPI установлен на вашем кластере, вам также необходимо установить Rmpi пакет из источника на каждой из ваших рабочих машин. Затем вы создадите объект кластера с помощью .

9