Уменьшение Использования Памяти Django. Низко висящие фрукты?

Если вы работаете под mod_wsgi и предположительно нерест, так как он совместим с WSGI, вы можете использовать бульдозер смотреть на использование памяти.

В разделе mod_wsgi просто добавьте это в нижней части скрипта WSGI:

from dozer import Dozer
application = Dozer(application)

затем в браузере http://domain/_dozer/index чтобы увидеть список всех ваших выделений памяти.

Я также просто добавлю свой голос поддержки mod_wsgi. Это делает мир различий с точки зрения производительность и использование памяти через mod_python. Поддержка Грэм Dumpleton для mod_wsgi является выдающимся, как в условиях активного развития и в оказании помощи людям в списке рассылки для оптимизации их установки. Дэвид Кремер в curse.com опубликовал некоторые диаграммы (которые я не могу найти сейчас, к сожалению), показывающие резкое сокращение использования процессора и памяти после того, как они переключились на mod_wsgi на этом высоком сайте трафика. Несколько разработчиков django переключились. Серьезно, это без проблем:)

Это решения профилировщика памяти Python, о которых я знаю (не связанные с Django):

• бесформенный
• pysizer (снят с производства)
• валидатор памяти Python (коммерческий)
• Pympler

отказ от ответственности: у меня есть доля в последнем.

документация по отдельному проекту должна дать вам представление о том, как использовать эти инструменты для анализа поведение памяти приложений Python.

ниже приводится хорошая "история войны", которая также дает некоторые полезные указатели:

• уменьшение следа ноги приложений python

кроме того, проверьте, не используете ли вы какие-либо известные утечки. MySQLdb, как известно, утечка огромного объема памяти с Django из-за ошибки в обработке unicode. Кроме этого, Панель Инструментов Отладки Django может помочь вам отслеживать свиней.

в дополнение к отсутствию глобальных ссылок на большие объекты данных, старайтесь избегать загрузки больших наборов данных в память везде, где это возможно.

переключитесь на mod_wsgi в режиме демона и используйте рабочий mpm Apache вместо prefork. Этот последний шаг может позволить вам обслуживать гораздо больше одновременных пользователей с гораздо меньшими затратами памяти.

Webfaction на самом деле имеет советы для поддержания использования памяти django вниз.

основные моменты:

• убедитесь, что debug имеет значение false (вы уже это знаете).
• используйте "ServerLimit" в конфигурации apache
• убедитесь, что в память не загружаются большие объекты
• рассмотрите возможность обслуживания статического контента в отдельном процессе или сервере.
• используйте "MaxRequestsPerChild" в вашем apache config
• выяснить и понять, сколько памяти вы используете

еще один плюс для mod_wsgi: установить в своем WSGIDaemonProcess директива и mod_wsgi будут перезапускать процесс демона так часто. Для пользователя не должно быть видимого эффекта, кроме медленной загрузки страницы при первом попадании нового процесса, поскольку он будет загружать Django и ваш код приложения в память.

но даже если вы do имейте утечки памяти, которые должны держать размер процесса от получать слишком большим, без прервать обслуживание к ваш пользователь.

вот скрипт, который я использую для mod_wsgi (называется wsgi.py, и положить в корень мой проект django):

import os
import sys
import django.core.handlers.wsgi

from os import path

sys.stdout = open('/dev/null', 'a+')
sys.stderr = open('/dev/null', 'a+')

sys.path.append(path.join(path.dirname(__file__), '..'))

os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings'
application = django.core.handlers.wsgi.WSGIHandler()

настройка myproject.настройки и путь по мере необходимости. Я перенаправляю весь вывод на /dev / null, так как mod_wsgi по умолчанию предотвращает печать. Использование логирования.

для apache:

<VirtualHost *>
   ServerName myhost.com

   ErrorLog /var/log/apache2/error-myhost.log
   CustomLog /var/log/apache2/access-myhost.log common

   DocumentRoot "/var/www"

   WSGIScriptAlias / /path/to/my/wsgi.py

</VirtualHost>

надеюсь, это должно хотя бы помочь вам настроить mod_wsgi, чтобы вы могли видеть, имеет ли это значение.

кэши: убедитесь,что они промываются. Его легко для чего-то приземлиться в кэше, но никогда не быть GC'D из-за ссылки на кэш.

кода глоток: убедитесь, что любое управление памятью делается правильно, его очень легко не заметить это в Python, особенно со сторонними библиотеками

наблюдение: если вы можете, получить данные об использовании памяти и хиты. Обычно вы увидите корреляцию между определенным типом запроса и использованием памяти.

мы наткнулись на ошибку в Django с большими картами (10.000 элементов). Кажется, Django пытается загрузить их все в память при создании sitemap:http://code.djangoproject.com/ticket/11572 - эффективно убивает процесс apache, когда Google посещает сайт.