Безопасный способ отправки почты через PHP многим пользователям

нет причин, по которым вы не могли бы написать его на PHP, хотя я бы не сделайте его частью процесса webrequest / HTTP. Я успешно реализовал для 500 000 подписчиков на рассылку (в зависимости от доступных локальных данных, так как это был проект для конкретного местоположения). Это был внутренний проект, поэтому, к сожалению, для вас нет кода / пакета, но некоторые указатели я наткнулся:

настройка доставка

• начал выходите с самим phpmailer, чтобы позаботиться о форматировании, кодировании содержимого и заголовков,добавлении вложений и т. д. Эта часть работает хорошо, и я не хотел бы писать это с нуля.
• "отправка" самого письма-это просто установка некоторого флага в базе данных, следует ли / как / что отправлять (часть) подписчикам.
• после того, как этот флаг установлен, он будет автоматически подхвачен cronjob, без участия веб-сервера.
• I начал с сильно загрязненной базы данных с миллионами адресов электронной почты, из которых много были очевидны недействительны, поэтому первое, что нужно было проверить все адреса электронной почты для формата, а затем для хоста:
  • filter_var($email, FILTER_VALIDATE_EMAIL); над подписчиками (и сохранение результата, очевидно)избавились от первых нескольких сотен тысяч недействительных писем.
  • разделение хоста (и хранение имя хоста) из писем и проверки этого (есть ли у него MX или хотя бы запись A в DNS, но имейте в виду: вы можете отправить электронное письмо на IP-адрес foo@[255.255.255.255], Так что держите их действительными)) избавился от хорошей части больше. В emailaddresses здесь не навсегда отключены, но с флагом состояния, который указывает, что они отключены из-за доменного имени / ip.
  • скрипты были изменены на требуются действительные адреса электронной почты по подписке / перед вставкой, эта ерунда 'вы Aint собираюсь сделать это@anywhere' подписка-загрязнение в базе было просто смешно.
• теперь у меня появился список адресов электронной почты, которые могли быть действительными. Есть, по сути, 3 способа обнаружения недопустимых адресов (имейте в виду,все может быть временным):
  • они немедленно отклоняются сервером.
  • ранее определенный сервер просто не слушает трафик.
  • они отскочили еще долго после того, как вы думали, что доставили их.
• странная вещь, отскоки, которые каждый почтовый сервер, похоже, имеет другой формат и были адом для разбора сначала, в конечном итоге довольно легко захватить с помощью VERP. Вместо того, чтобы разбирать целые электронные письма, выделенный адрес электронной почты (назовем его mailer@example.com) был настроен на то, чтобы вместо доставки в почтовый ящик, передать его через команду, и если мы отправили электронное письмо пользователю@server.дву Return-Path было назначено на mailer+user=server.tld@example.com. Легко разбирается при получении, а после Сколько отскоков (почтовый ящик не может существовать, почтовый ящик может быть заполнен (да, еще!), п.) вы объявляете emailaddress непригодным для использования до вас.
• теперь прямое отрицание сервером. Вероятно, мы могли бы пойти с правильной настройкой некоторых MTA и/или написания плагинов для них, но поскольку электронные письма были чувствительны ко времени, и мы должны были иметь абсолютный настраиваемый контроль за рассылкой в течение последнего времени доставки (после чего электронная почта больше не представляла интереса для пользователя), дросселирование на принимающий сервер и вообще все, это заняло бы примерно столько же времени, сколько написание почтовика на PHP, который мы знали лучше, который использовал протокол SMTP непосредственно для сокета 25 на принимающих серверах. С минимальным количеством усилий, возможность другого транспорта, то выбор по умолчанию в PHPMailer был встроенный. Протокол SMTP на самом деле довольно прост, но есть некоторые оговорки:
  • много получать сервер применить серый список: большинство спам-ботов не будет действительно заботиться, если приходит конкретная почта,они просто сбивают их. Таким образом, если неизвестный / еще не доверенный отправитель отправит почту, она будет временно отклонена. Поймайте это (обычно код 451) и поместите электронное письмо в очередь для последующей повторной попытки.
  • почтовый сервер, особенно крупных интернет-провайдеров и бесплатных услуг (gmail, hotmail / msn / live и т.д.) не выдержит поток почты без отпора: после первой пары сотен / тысяча, они начинают отвергать тебя. Об этом позже.

получаю скорость

• теперь у нас была система доставки, которая работала, но она должна была быть быстро. Отправка 10,000 писем в час-это нормально, если у вас есть только 10,000 адресов для отправки, но минимум, который мы требовали, был около 200,000 в час. Начало его было выделенным сервером (который на самом деле может быть довольно низким, независимо от того, что вы у, Большая часть времени, затрачиваемого на доставку электронной почты, находится в сети, а не на вашем сервере).
• кэширование IP-адресов: помните все те IP-адреса, которые мы запрашивали у имен хостов в адресах электронной почты? Очевидно, мы сохранили их, и поиск их IP-адресов снова и снова вызывает значительное отставание. Однако IPs может измениться: запись DNS там, другой MX в другом месте... данные быстро устаревают. Большую часть времени сервер фактически ничего не отправляет (информационные бюллетени подписки приходят в виде пакетов очевидно), с низким приоритетом cronjob работает проверка всех имен хостов с устаревшим IP (мы выбрали более старый, чем 1 день как устаревший) для IP-адреса,включая те, которые ранее не имели (новые домены регистрируются все время, так почему домен не должен стать доступным на следующий день после того, как кто-то уже с энтузиазмом подписался на его/ее новый адрес электронной почты? Или проблемы с сервером с некоторыми домен решаются и т. д.). На самом деле отправка электронной почты теперь не требуется больше домена поиски.
• повторное использование SMTP-соединения: настройка соединения с сервером занимает относительно большую часть времени для доставки электронной почты, когда вы говорите непосредственно с портом 25. Вам не нужно устанавливать новое соединение для каждого письма, вы можете просто отправить следующее по тому же соединению. Немного trail-and-error привело к установке по умолчанию здесь около 50 писем на соединение (предполагая, что у вас есть много или больше для домена). Однако, на отказе emailaddress закрытие и повторное открытие соединения для повторной попытки иногда помогало. В общем, это действительно помог ускорить процесс.
• какой-то очевидный, настолько очевидный, что я почти забыл упомянуть об этом: было бы пустой тратой создавать тело письма на месте: если это общая почта, подготовьте тело (я изменил PHPMailer несколько, чтобы иметь возможность использовать кэшированное письмо), возможно, за несколько дней до (Если вы знаю вы собираетесь отправить на почту , и ваш сервер работает на холостом ходу, почему бы не подготовить их уже в среду? Если он персонализирован, вы все равно можете подготовить его заранее, учитывая достаточно времени, если нет, по крайней мере, есть неперсонифицированные части, ожидающие выхода.
• несколько процессов. Я упоминал, что большая часть времени, необходимого для доставки электронной почты, тратится на сеть? Один процесс рассылки почти не получает максимальную отдачу от вашего почтового сервера, едва заметная загрузка и письма вытекают. Поиграйте с рядом процессы рассылки различных частей очереди, чтобы увидеть, что правильно для вашего сервера / соединения, но помните 2 очень важные вещи:
  • различные процессы делают вас очень уязвимыми для условий гонки: будьте чертовски абсолютно уверен у вас есть полностью защищенная система, которая будет никогда отправить то же письмо дважды (трижды, даже больше). Он не только серьезно раздражать пользователей, ваш spamrating поднимается на ступеньку выше.
  • сохранить доменов, где возможно: случайный выбор из очереди Вы потеряете преимущество сохранения открытого соединения с сервером, получающим электронную почту для домена.

избежать отклонений

• вы собираетесь отправить много писем. Это именно то, что делают спамеры. Однако вы не хотите, чтобы вас считали спамером (в конце концов, вы не являетесь, не так ли)? Существует ряд механизмов, которые полностью увеличат ваш надежность получающих серверов:
• иметь правильный обратный DNS: процессы проверки DNS, принадлежащие IP, который отправляет электронную почту, как это очень много, если домены второго уровня совпадают: вы отправляете почту от имениexample.com? Убедитесь, что обратный DNS вашего сервера-это что-то вродеsomename.example.com.
• опубликовать записи SPF для вашего домена: явно укажите, что машина, используемая для отправки массовой электронной почты, разрешено и ожидается отправка почты с заголовками / Return-Path.
• помните, отвергает: серверы не любят повторять вам снова и снова, что разные адреса электронной почты не существуют. Либо автоматические механизмы, либо даже человеческие администраторы заблокировали наш сервер, пока мы работали со всеми неподтвержденными адресами электронной почты, которые существовали (больше не существовали). Мы не использовали двойную опт-ин до тех пор, пока позже, поэтому база данных была загрязнена опечатками, люди переключали IPs и тем самым адрес электронной почты, шутки адреса электронной почты и так далее. Не забудьте захватить этих инвалидов, и учитывая достаточно или разорвать достаточно неудач,отписаться от них. Они не делают вам ничего хорошего, они захватывают ресурсы, и если они действительно хотят, чтобы вы отправили почту, и почтовый ящик станет доступен позже, им просто придется повторно подписаться.
• DKIM-еще один механизм, который может повысить вашу надежность, но поскольку мы его еще не реализовали (пока), я не могу много рассказать вам о что.
• MX records: некоторым серверам все еще нравится, если ваш отправляющий сервер также является принимающим сервером для домена. Как это было в то время, у нас был только 1 MX, и поскольку почтовый сервер все еще не был очень занят, мы окрестили его резервным MX-сервером для домена. Обычный MX-сервер был не сервер, отправляющий подписки, так как очень раздражает временная блокировка сервером, на который вы пытаетесь отправить важное электронное письмо (клиентам и т. д.) потому что ты уже отправил кучу менее важных писем. У него есть самое высокое предпочтение как получение MX, но в случае неудачи у нас был хороший бонус, что наш сервер отправки подписки по-прежнему будет резервным для доставки, поэтому в кризис мы все равно могли бы добраться до него, предотвращая неудобные отскоки клиентам, пытающимся связаться с нами.
• расскажи им о себе. Серьезно. Много крупных игроков в бесплатные адреса электронной почты, как live.com предложите вам возможность зарегистрироваться каким-либо образом, или иметь некоторые точка контакта, чтобы обратиться за помощью и поддержкой, если ваши письма будут отклонены. У вас есть законная причина отправлять так много писем, и это правдоподобно, что у вас есть много подписчиков, скорее всего, они серьезно увеличивают количество писем, которые вы можете отправить на свой сервер в час. Скудная тысяча может стать где-то среди десяти тысяч или даже выше, если вы достаточно убедительны и честны. Могут быть контракты, требования, которые вы должны выполнить, и обещания, которые вы должны сделать (и сохранить), чтобы быть разрешены этот. ISP-это отдельный бренд, и каждый другой игрок отличается. Не беспокойтесь, звоните им обычно, потому что в 99% случаев единственные номера, которые вы можете найти, будут иметь только людей, желающих устранить неполадки вашего интернет-соединения, которые понимают (или разрешены) мало что еще. Ан abuse@ адрес электронной почты-хорошее место для начала, но посмотрите, можете ли вы углубиться в более точный адрес электронной почты откуда-то. Будьте точны, честны и полны: примерно сколько подписчиков у вас есть адрес электронной почты с этим провайдером, как часто вы пытались отправить их по почте, какие ошибки или отказ вы получите, как процесс подписки & unscubscribe как, и какая вы на самом деле предоставляете своим клиентам. Кроме того, будьте любезны: насколько жизненно важно отправлять эти письма вашему бизнесу, паниковать по этому поводу и заявлять о страшных потерях, их не касается. Вежливое изложение фактов и пожеланий, и ... --6-->прошу могут ли они помочь, а не требовать решения идет очень долго путь.
• дросселирование: сколько вы ни пытались, какой-то сервер будет принимать от вас только определенное количество почты в час и/или день. Изучите эти цифры (мы все равно регистрируем успехи и неудачи), установите их в разумное значение по умолчанию для обычных доменов, установите согласованные ограничения для более крупных игроков.

избегая быть помеченным как спам

• Первое правило: не спамить!
• Второе правило: никогда! Не "один раз", не "они не подписались, но это может быть сделка всей жизни для них", не с лучшими намерениями, люди должны были попросить ваши электронные письма.
• очевидно, настройте правильный механизм двойной подписки.
• PHPMailer устанавливает правильные заголовки самостоятельно,
• настройте простой механизм отмены подписки через интернет (включите ссылку на него в mail), возможно, также электронная почта и customerservice, если у вас есть. Убедитесь, что обслуживание клиентов можете отписаться от людей напрямую.
• как было сказано ранее: отменить подписку (чрезмерно) не удается и отскакивает.
• избегайте спам "дело всей жизни" формулировки.
• используйте url-адреса в своих письмах экономно.
• избегайте добавления ссылок на домены вне вашего контроля, если вы не абсолютно уверены, что можете доверять их Не спам, если даже тогда...
• предоставить пользователю значение: помечается как спам взаимодействие с пользователями в Google/yahoo / live webmail серьезно вредит будущим успехам (на сайте Примечание: Если вы зарегистрируетесь, live/msn/hotmail будет пересылать вам всю почту, отправляемую вашим доменом, который помечен как спам пользователями. Научитесь любить его, и как всегда: отпишитесь на них, они явно не хотят вашего торгового центра и вредят вашему спам-рейтингу).
• мониторинг черных списков для вашего IP. Если вы появитесь на одном из них, это до свидания, так что immidiate действие в обоих очищая свое имя и определение случая требуется.

измерение успеха

• со всем процессом под вашим контролем, вы достаточно уверены, что письмо закончилось где-то (хотя это может быть битбакет MX или папка спама), или вы зарегистрировали сбой и причину. Это заботится о "фактически доставленных" номерах.
• некоторые люди будут пытаться убедить вас, чтобы добавить ссылки на онлайн-изображения на ваши электронные письма (реальный или знаменитый прозрачный gif 1x1), чтобы измерить, сколько людей на самом деле читают вашу электронную почту. Поскольку высокий процент блокирует эти изображения, эти цифры в лучшем случае шаткие, и мы считаем, что мы просто не должны беспокоиться о них, их числа совершенно ненадежны.
• ваш лучший выбор для измерения фактического успеха намного проще, если вы хотите, чтобы пользователи что-то делали. Добавьте параметры к ссылкам в почте, чтобы можно было измерить количество пользователей на сайте вы связались, выполнили ли они нужные действия (посмотрели видео, оставили комментарий, купили товар).

в целом, со всеми журналами, пользовательским интерфейсом, настраиваемыми настройками для домена/электронной почты / пользователя и т. д. Нам потребовалось около 1,5 человеко-месяца, чтобы построить и сгладить причуды. Это может быть довольно инвестицией по сравнению с аутсорсингом электронных писем, это может быть не так, все зависит от объема и самого бизнеса.

теперь, пусть пламя начнется, что я был дурак писать MTA в PHP, я для одного полностью наслаждался этим (что является одной из причин, по которой я написал это огромное количество текста), и чрезвычайно универсальные возможности ведения журнала и настройки, оповещения на хосте на основе процента сбоев и т. д. делают жить Ох так легко;)