Как работает асинхронный сервер сокетов?

один поток на соединение плохой дизайн (не масштабируемый, чрезмерно сложный), но, к сожалению, слишком распространенный.

сервер сокетов работает примерно так:

• прослушивающий сокет настроен на прием соединений и добавлен в socketset
• набор сокетов проверяется на наличие событий
• если прослушивающий сокет имеет ожидающие соединения, новые сокеты создаются путем принятия соединений, а затем добавляются в сокет set
• если подключенный сокет имеет события, соответствующие функции ввода-вывода называются
• набор сокетов снова проверяется на наличие событий

это происходит в одном потоке, вы можете легко обрабатывать тысячи подключенных сокетов в одном потоке, и есть несколько веских причин сделать это более сложным, введя потоки.

while running
    select on socketset
    for each socket with events
        if socket is listener
            accept new connected socket
            add new socket to socketset
        else if socket is connection
            if event is readable
                read data
                process data
            else if event is writable
                write queued data
            else if event is closed connection
                remove socket from socketset
            end
        end
    done
done

стек IP заботится обо всех деталях, какие пакеты идут в какой "сокет" в каком порядке. Видно из с точки зрения приложений, сокет представляет собой надежный упорядоченный поток байтов (TCP) или ненадежную неупорядоченную последовательность пакетов(UDP)

EDIT: в ответ на обновленный вопрос.

Я не знаю ни одной из библиотек, которые вы упоминаете, но о концепциях, которые вы упоминаете:

• кэш сеанса обычно хранит данные, связанные с клиентом, и может повторно использовать эти данные для нескольких подключений. Это имеет смысл, когда логика приложения требует состояния информация, но это уровень выше, чем фактический конец сети. В приведенном выше примере кэш сеанса будет использоваться частью "данные процесса".
• буферные пулы также являются простой и часто эффективной оптимизацией сервера с высоким трафиком. Концепция очень проста в реализации, вместо выделения / освобождения места для хранения данных, которые Вы читаете / пишете, вы получаете предварительно выделенный буфер из пула, используете его, а затем возвращаете его в пул. Это позволяет избежать (иногда относительно дорого) механизмы выделения/освобождения бэкэнда. Это напрямую не связано с сетью, вы можете также использовать буферные пулы, например, для чтения кусков файлов и их обработки.