Как рассчитать количество параметров AlexNet?

Я не нашел расчета параметров (Весов + смещений)AlexNet поэтому я попытался вычислить его, но я не уверен, что это правильно:

conv1: (11*11)*3*96 + 96 = 34944

conv2: (5*5)*96*256 + 256 = 614656

conv3: (3*3)*256*384 + 384 = 885120

conv4: (3*3)*384*384 + 384 = 1327488

conv5: (3*3)*384*256 + 256 = 884992

fc1: (6*6)*256*4096 + 4096 = 37752832

fc2: 4096*4096 + 4096 = 16781312

fc3: 4096*1000 + 1000 = 4097000

Это приводит к общему количеству параметров 62378344. Это правильный расчет?

14
computer-vision conv-neural-network

3 ответов

ваши расчеты верны. Мы придумали один и тот же номер самостоятельно при написании этот блог. Я также добавил финальную таблицу из post

enter image description here

1

слайд 8 в этой презентации заявляет, что он имеет параметры 60M, поэтому я думаю, что вы, по крайней мере, в парке мяч. http://vision.stanford.edu/teaching/cs231b_spring1415/slides/alexnet_tugce_kyunghee.pdf

3

согласно диаграмме в их статье, некоторые из слоев используют группировку. Поэтому не все объекты одного слоя взаимодействуют друг с другом. Это означает, например, conv2, вы должны иметь только (5*5)*48*256 + 256 = особенности 307,456 .

Я не уверен, что все новые реализации включают группировку. Это была оптимизация, которую они использовали, чтобы позволить сети тренироваться параллельно на двух графических процессорах, но современные графические процессоры имеют больше ресурсов для обучения и комфортно подходят к сети без группировка.

1