Caffe / ошибка проверки: ошибка == cudaSuccess (2 против 0) из памяти

Я пытаюсь обучить сеть на Caffe. У меня размер изображения 512x640. Размер пакета-1. Я пытаюсь реализовать FCN-8s.

в настоящее время я запускаю это на экземпляре Amazon EC2 (g2.2xlarge) с 4 ГБ памяти GPU. Но когда я запускаю решатель, он сразу же выбрасывает ошибку

Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
Aborted (core dumped)

может кто-нибудь помочь мне продолжить отсюда?

9
amazon-web-services caffe cuda deep-learning neural-network

2 ответов

ошибка, которую вы получаете, действительно из памяти, но это не ОЗУ, а скорее память GPU (обратите внимание, что ошибка исходит от CUDA).
Обычно, когда caffe не хватает памяти-первое, что нужно сделать, это уменьшить размер партии (За счет точность градиента), но так как вы уже находитесь в размере партии = 1...
Вы уверены, что размер партии равен 1 для и фазы поездов и испытаний?

15

Caffe может использовать несколько GPU. Это поддерживается только в интерфейсе C++, а не в python. Вы также можете включить cuDNN для меньше памяти.

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md

2