UTF-8 HTML и CSS файлы с BOM (и как удалить BOM с Python)

во-первых, некоторые предпосылки: я разрабатываю веб-приложение с использованием Python. Все мои (текстовые) файлы в настоящее время хранятся в UTF-8 со спецификацией. Сюда входят все мои HTML-шаблоны и CSS-файлы. Эти ресурсы хранятся как двоичные данные (BOM и все) в моей БД.

когда я получаю шаблоны из БД, я декодирую их с помощью template.decode('utf-8'). Когда HTML поступает в браузер, спецификация присутствует в начале тела ответа HTTP. Это создает очень интересную ошибку в Chrome:

Extra <html> encountered. Migrating attributes back to the original <html> element and ignoring the tag.

Chrome, кажется, генерирует <html> тег автоматически, когда он видит спецификацию и ошибается в ее содержании, делая реальное <html> теге ошибка.

Итак, используя Python, каков наилучший способ удалить BOM из моих шаблонов с кодировкой UTF-8 (если он существует-я не могу гарантировать это в будущем)?

для других текстовых файлов, таких как CSS, будут ли основные браузеры правильно интерпретировать (или игнорировать) спецификацию? Они отправляются как простые двоичные данные без .decode('utf-8').

примечание: Я использую Python 2.5.

спасибо!

12
byte-order-mark file python utf-8

4 ответов

Так как вы заявляете:

все мои (текстовые) файлы в настоящее время хранится в UTF-8 с BOM

затем используйте кодек' utf-8-sig ' для их декодирования:

>>> s = u'Hello, world!'.encode('utf-8-sig')
>>> s
'\xef\xbb\xbfHello, world!'
>>> s.decode('utf-8-sig')
u'Hello, world!'

он автоматически удаляет ожидаемую спецификацию и работает правильно, если спецификация также отсутствует.

23

Проверьте первый символ после декодирования, чтобы увидеть, если это BOM:

if u.startswith(u'\ufeff'):
  u = u[1:]
10

ранее принятый ответ неверен.

u'\ufffe' - это не персонаж. Если вы получите его в строке unicode, кто-то сильно напихал.

BOM (он же нулевая ширина без перерыва) -u'\ufeff'

>>> UNICODE_BOM = u'\N{ZERO WIDTH NO-BREAK SPACE}'
>>> UNICODE_BOM
u'\ufeff'
>>>

читать этой (Ctrl-F поиск спецификации) и этой и этой (Ctrl-F поиск спецификации).

вот правильный и опечатка / braino-устойчивый ответ:

Декодируйте свой вход в unicode_str. После этого:

# If I mistype the following, it's very likely to cause a SyntaxError.
UNICODE_BOM = u'\N{ZERO WIDTH NO-BREAK SPACE}'
if unicode_str and unicode_str[0] == UNICODE_BOM:
    unicode_str = unicode_str[1:]

бонус: использование именованной константы дает вашим читателям немного больше информации о том, что происходит, чем коллекция, казалось бы, произвольных гексоглифов.

обновление к сожалению, в стандартной библиотеке Python нет подходящей именованной константы.

увы, модуль кодеков обеспечивает только " Силок и заблуждение":

>>> import pprint, codecs
>>> pprint.pprint([(k, getattr(codecs, k)) for k in dir(codecs) if k.startswith('BOM')])
[('BOM', '\xff\xfe'),   #### aarrgghh!! ####
 ('BOM32_BE', '\xfe\xff'),
 ('BOM32_LE', '\xff\xfe'),
 ('BOM64_BE', '\x00\x00\xfe\xff'),
 ('BOM64_LE', '\xff\xfe\x00\x00'),
 ('BOM_BE', '\xfe\xff'),
 ('BOM_LE', '\xff\xfe'),
 ('BOM_UTF16', '\xff\xfe'),
 ('BOM_UTF16_BE', '\xfe\xff'),
 ('BOM_UTF16_LE', '\xff\xfe'),
 ('BOM_UTF32', '\xff\xfe\x00\x00'),
 ('BOM_UTF32_BE', '\x00\x00\xfe\xff'),
 ('BOM_UTF32_LE', '\xff\xfe\x00\x00'),
 ('BOM_UTF8', '\xef\xbb\xbf')]
>>>

обновление 2 если вы еще не расшифровали свой ввод и хотите проверить его на наличие спецификации, вам нужно проверить два различные BOMs для UTF-16 и по крайней мере два различные BOMs для UTF-32. Если бы был только один способ, вам бы не понадобилась бомба, не так ли?

вот дословно непретифицированное из моего собственного кода мое решение этого:

def check_for_bom(s):
    bom_info = (
        ('\xFF\xFE\x00\x00', 4, 'UTF-32LE'),
        ('\x00\x00\xFE\xFF', 4, 'UTF-32BE'),
        ('\xEF\xBB\xBF',     3, 'UTF-8'),
        ('\xFF\xFE',         2, 'UTF-16LE'),
        ('\xFE\xFF',         2, 'UTF-16BE'),
        )
    for sig, siglen, enc in bom_info:
        if s.startswith(sig):
            return enc, siglen
    return None, 0

вход s должен быть по крайней мере первые 4 байта входных. Он возвращает кодировку, которая может использоваться для декодирования части ввода после спецификации, а также длину спецификации (если таковая имеется).

если вы параноик, вы можете разрешить еще 2 (нестандартных) заказа UTF-32, но Python не предоставляет кодировку для них, и я никогда не слышал о фактическом возникновении, поэтому я не беспокоюсь.

1

вы можете использовать что-то подобное для удаления BOM:

import os, codecs
def remove_bom_from_file(filename, newfilename):
    if os.path.isfile(filename):
        # open file
        f = open(filename,'rb')

        # read first 4 bytes
        header = f.read(4)

        # check if we have BOM...
        bom_len = 0
        encodings = [ ( codecs.BOM_UTF32, 4 ),
            ( codecs.BOM_UTF16, 2 ),
            ( codecs.BOM_UTF8, 3 ) ]

        # ... and remove appropriate number of bytes    
        for h, l in encodings:
            if header.startswith(h):
                bom_len = l
                break
        f.seek(0)
        f.read(bom_len)

        # copy the rest of file
        contents = f.read() 
        nf = open(newfilename)
        nf.write(contents)
        nf.close()
0