Отношение количества блоков нитей и ядер cuda на машине (в CUDA C)

ядра CUDA не совсем то, что вы могли бы назвать ядром на классическом процессоре. В самом деле, их следует рассматривать не более чем как ALUs (арифметические и логические единицы), которые просто способны вычислять готовые операции.

вы можете знать, что потоки обрабатываются в коробит (группа из 32 потоков) внутри блоков, которые вы определили. Когда ваши блоки отправляются на разные SMs (потоковые Мультипроцессоры, они являются фактическими ядра GPU), каждый SM планирует деформации внутри блока для оптимизации времени вычисления в отношении времени доступа к памяти, необходимого для получения входных данных потоков.

проблема в том, что потоки всегда обрабатываются через их принадлежность warp, поэтому, если у вас есть только один поток на блок, SM, на котором он работает, не сможет планировать через деформации, и вы не будете использовать несколько доступных ядер CUDA. Ваши ядра CUDA будут ждать обработки данных, так как ядра CUDA вычисляют намного быстрее чем данные извлекаются через память.

наличие большого количества блоков с несколькими потоками-это не то, что ожидает GPU. В этом случае вы сталкиваетесь с блок на ограничение SM (это число зависит от вашего устройства), что заставляет ваш GPU тратить много времени, чтобы поставить блоки на SM, а затем удалить их, чтобы обработать следующие. Вы должны скорее увеличьте количество потоков в ваших блоках вместо числа блоки в вашем приложении.