Аренда Кластера

Мне интересно, есть ли кластеры, доступные для аренды.

сценарий:

У нас есть программа, которая займет, по нашим оценкам, неделю для запуска(после оптимизации) в данном файле. Вполне возможно, дольше. К сожалению, мы также должны сделать около 300 различных файлов, в результате чего примерно в 300 недель вычислений(roundable к 6 wallclock лет непрерывно работающей работы). Для исследовательской работы, которая должна быть выполнена-не позднее - к декабрю это просто неприемлемо. В то время как мы изучаем другие варианты, я изучаю возможность просто арендовать кластер Беовульфа. Работа является академической и приведет к завершению PhD.

то, что было бы идеальным, было бы компанией, которую мы отправляем исходные и рабочие файлы в компанию, а затем получаем неделю или две спустя файлы результатов. Вуаля!

быстрый поиск в гугле не дает ничего ужасно многообещающего.

предложил Решения?

10 ответов


облачные вычисления звучит как то, что вам нужно. Amazon, Microsoft и Google арендуют компьютерные ресурсы за плату за то, что вы используете.

сервис Amazon является наиболее зрелым, и есть несколько вопросов уже о сервисе Amazon, например здесь и здесь.


Я не знаю, где вы делаете свою кандидатскую... Большинство азиатских, европейских и североамериканских университетов имеют несколько кластеров. Ты можешь!--1-->

  • встречайте непосредственно людей в лаборатории, которая отвечает за кластер.
  • попросите вашего директора PhD организовать это. Возможно, у него/нее есть друзья, которые могут справиться с этим.

кроме того, классический трюк заключается в использовании неиспользуемого времени компьютеров вашей лаборатории/университета... В основном, каждый компьютер работает клиентское приложение, которое хруст номера, когда компьютер не используется. См.http://boinc.berkeley.edu/


Amazon EC2 (Elastic Compute Cloud) звучит именно так, как вы ищете. Вы можете подписаться на одну или несколько виртуальных машин (до 20 автоматически, больше, если вы запрос), начиная с $0.10 в час на VM, плюс затраты на пропускную способность (бесплатно между машинами EC 2 и Amazon другие веб-сервисы). Вы можете выбрать между несколькими операционными системами (различные дистрибутивы Linux, OpenSolaris, Windows, Если вы платите дополнительно), и вы можете использовать существующие образы машин или создайте свои собственные. Если вы используете все программное обеспечение с открытым исходным кодом и не имеете больших затрат на пропускную способность, похоже, что выполнение вашей работы будет стоить вам около $5000 (предполагая, что ваши 6 лет вычислительного времени были для чего-то сопоставимого с их небольшими экземплярами, с одним виртуальным процессором).

Как только вы зарегистрируетесь на услугу и получите инструменты настройка, довольно легко запустить новые виртуальные машины. Я даже потратил $0,10 до запустите машину на несколько минут, чтобы проверить ответ, который я давал кому-то здесь, на StackOverflow; я хотел проверить что-то на Solaris, поэтому я просто загрузил экземпляр и имел Solaris VM в своем распоряжении в течение 5 минут.


Это руководство может оказаться полезным:

http://lcic.org/vendors.html

и это фантастический ресурс по этому вопросу:

http://www.hpcwire.com


поток был переполнен указателями на EC2 Amazon - и правильно. Они самые зрелые в этой области. Недавно они выпустили свою эластичную платформу map-reduce, которая звучит аналогично (хотя и не совсем), как то, что вы пытаетесь сделать. Google не является вариантом для вас, поскольку их вычислительная модель не поддерживает общую вычислительную модель, которая вам нужна.


  • для академической / научной пользы, несколько общественных центров предлагая возможность ХПК. В Европе есть DEISA. http://www.deisa.eu/ и члены DEISA. Должны быть аналогичные возможности в США, вероятно, через NSF.

  • для коммерческого использования проверьте предложения IBM Deep Computing On Demand. http://www-03.ibm.com/systems/deepcomputing/cod/


существует несколько способов получить время на кластерах.

  1. время покупки на Amazon elastic cloud. В зависимости от того, насколько вы знакомы с их сервисом, может потребоваться время, чтобы настроить его так, как вы хотите.
  2. подходите к университету и посмотрите, есть ли у них коммерческая программа, чтобы сдавать время компаниям. Я знаю нескольких. Я знаю конкретно программы частного сектора в NCSA в UIUC. В зависимости от учреждения, они также предлагают портирование обслуживание и оптимизация кода.

или вы можете арендовать CPU time у частного провайдера.
Я из Словении, и, например, здесь у нас есть отличный частный провайдер под названием Arctur. Ребята были полезны и отзывчивы, когда я связался с ними.

вы можете найти их здесь: hpc.arctur.net


один из вариантов-арендовать виртуальные ресурсы, эквивалентные любому количеству ПК, которые вам нужны, и настроить их как кластер, используя Amazon Elastic Compute Cloud.

настройка кластера beowulf из них вполне возможна.

зацените ссылке который предоставляет ресурсы и программное обеспечение для этого.


на : http://www.extremefactory.com/index.php Истинный кластер HPC, до 200 TFlops.