Отслеживание неявных преобразований unicode в Python 2

у меня есть большой проект, где в разных местах использовались проблемные неявные преобразования Unicode (coersions) в виде, например:

someDynamicStr = "bar" # could come from various sources

# works
u"foo" + someDynamicStr
u"foo{}".format(someDynamicStr)

someDynamicStr = "xff" # uh-oh

# raises UnicodeDecodeError
u"foo" + someDynamicStr
u"foo{}".format(someDynamicStr)

(возможно, и другие формы.)

теперь я хотел бы отследить эти обычаи, особенно в активно используемом коде.

было бы здорово, если бы я мог бы легко заменить unicode конструктор с оболочкой, которая проверяет, имеет ли вход тип str и encoding/errors параметры устанавливаются в значения по умолчанию, а затем уведомляет меня (печать отладочных или подобные).

/ edit:

хотя это не имеет прямого отношения к тому, что я ищу, я наткнулся на этот славно ужасный хак для того, как сделать исключение декодирования полностью уйти (декодировать только один, т. е. str до unicode, но не наоборот, см. https://mail.python.org/pipermail/python-list/2012-July/627506.html).

Я не планирую использовать его, но это может быть интересно для тех, кто борется с проблемами с недопустимым вводом Unicode и ищет быстрое исправление (но, пожалуйста, подумайте о побочных эффектах):

import codecs
codecs.register_error("strict", codecs.ignore_errors)
codecs.register_error("strict", lambda x: (u"", x.end)) # alternatively

(поиск в интернете для codecs.register_error("strict" показал, что, по-видимому, он используется в некоторых реальных проектах.)

/ edit #2:

для явного преобразования Я сделал фрагмент с помощью так пост на monkeypatching:

class PatchedUnicode(unicode):
  def __init__(self, obj=None, encoding=None, *args, **kwargs):
    if encoding in (None, "ascii", "646", "us-ascii"):
        print("Problematic unicode() usage detected!")
    super(PatchedUnicode, self).__init__(obj, encoding, *args, **kwargs)

import __builtin__
__builtin__.unicode = PatchedUnicode

это влияет только на явные преобразования с помощью unicode() конструктор напрямую, так что это не то, что мне нужно.

/ edit #3:

нить "метод расширения для встроенных типов python!" заставляет меня думать, что на самом деле это может быть нелегко (по крайней мере, в CPython).

/правка #4:

приятно видеть здесь много хороших ответов, жаль, что я могу выдать награду только один раз.

могу ли я отключить неявные преобразования Python unicode, чтобы найти ошибки смешанных строк? Обратите внимание, что бросание исключения будет не были в порядке в моем случае. Здесь я искал что-то, что могло бы укажите мне различные местоположения проблемного кода (например, путем печати smth.), но не то, что может выйти из программы или изменить свое поведение (потому что таким образом я могу определить, что исправить).

С другой стороны, люди, работающие над проектом Mypy (в том числе Гвидо ван Россум), могут также придумать что-то подобное полезное в будущем, см. обсуждения в https://github.com/python/mypy/issues/1141 и совсем недавно https://github.com/python/typing/issues/208.

/ edit #5

Я также наткнулся на следующее, но еще не было времени, чтобы проверить его:https://pypi.python.org/pypi/unicode-nazi

4 ответов


вы можете зарегистрировать пользовательскую кодировку, которая печатает сообщение, когда оно используется:

код ourencoding.py:

import sys
import codecs
import traceback

# Define a function to print out a stack frame and a message:

def printWarning(s):
    sys.stderr.write(s)
    sys.stderr.write("\n")
    l = traceback.extract_stack()
    # cut off the frames pointing to printWarning and our_encode
    l = traceback.format_list(l[:-2])
    sys.stderr.write("".join(l))

# Define our encoding:

originalencoding = sys.getdefaultencoding()

def our_encode(s, errors='strict'):
    printWarning("Default encoding used");
    return (codecs.encode(s, originalencoding, errors), len(s))

def our_decode(s, errors='strict'):
    printWarning("Default encoding used");
    return (codecs.decode(s, originalencoding, errors), len(s))

def our_search(name):
    if name == 'our_encoding':
        return codecs.CodecInfo(
            name='our_encoding',
            encode=our_encode,
            decode=our_decode);
    return None

# register our search and set the default encoding:
codecs.register(our_search)
reload(sys)
sys.setdefaultencoding('our_encoding')

если вы импортируете этот файл в начале нашего скрипта, вы увидите предупреждения для неявных преобразований:

#!python2
# coding: utf-8

import ourencoding

print("test 1")
a = "hello " + u"world"

print("test 2")
a = "hello ☺ " + u"world"

print("test 3")
b = u" ".join(["hello", u"☺"])

print("test 4")
c = unicode("hello ☺")

выход:

test 1
test 2
Default encoding used
 File "test.py", line 10, in <module>
   a = "hello ☺ " + u"world"
test 3
Default encoding used
 File "test.py", line 13, in <module>
   b = u" ".join(["hello", u"☺"])
test 4
Default encoding used
 File "test.py", line 16, in <module>
   c = unicode("hello ☺")

это не идеально, как показывает тест 1, Если преобразованная строка содержит только символы ASCII, иногда вы не увидите предупреждение.


что вы можете сделать, это следующее:

сначала создайте пользовательскую кодировку. Я назову его "lascii" для "ведения журнала ASCII":

import codecs
import traceback

def lascii_encode(input,errors='strict'):
    print("ENCODED:")
    traceback.print_stack()
    return codecs.ascii_encode(input)


def lascii_decode(input,errors='strict'):
    print("DECODED:")
    traceback.print_stack()
    return codecs.ascii_decode(input)

class Codec(codecs.Codec):
    def encode(self, input,errors='strict'):
        return lascii_encode(input,errors)
    def decode(self, input,errors='strict'):
        return lascii_decode(input,errors)

class IncrementalEncoder(codecs.IncrementalEncoder):
    def encode(self, input, final=False):
        print("Incremental ENCODED:")
        traceback.print_stack()
        return codecs.ascii_encode(input)

class IncrementalDecoder(codecs.IncrementalDecoder):
    def decode(self, input, final=False):
        print("Incremental DECODED:")
        traceback.print_stack()
        return codecs.ascii_decode(input)

class StreamWriter(Codec,codecs.StreamWriter):
    pass

class StreamReader(Codec,codecs.StreamReader):
    pass

def getregentry():
    return codecs.CodecInfo(
        name='lascii',
        encode=lascii_encode,
        decode=lascii_decode,
        incrementalencoder=IncrementalEncoder,
        incrementaldecoder=IncrementalDecoder,
        streamwriter=StreamWriter,
        streamreader=StreamReader,
    )

то, что это делает, в основном то же самое, что и ASCII-кодек, просто он печатает сообщение и текущую трассировку стека каждый раз, когда он кодирует или декодирует из unicode в lascii.

Теперь вам нужно сделать его доступным для модуля кодеков, чтобы его можно было найти по имени "lascii". Для этого нужно создать поиск функция, которая возвращает lascii-кодек, когда он подается со строкой "lascii". Затем это регистрируется в модуле кодеков:

def searchFunc(name):
    if name=="lascii":
        return getregentry()
    else:
        return None

codecs.register(searchFunc)

последнее, что осталось сделать, это сказать модулю sys использовать "lascii" в качестве кодировки по умолчанию:

import sys
reload(sys) # necessary, because sys.setdefaultencoding is deleted on start of Python
sys.setdefaultencoding('lascii')

предупреждение: При этом используются некоторые устаревшие или не рекомендованные функции. Это может быть неэффективно или без ошибок. Не использовать в производстве, только для тестирования и/или отладки.


просто добавить:

from __future__ import unicode_literals

в начале ваших файлов исходного кода - это должен быть первый импорт, и он должен быть во всех файлах исходного кода, затронутых, и головная боль от использования unicode в Python-2.7 уходит. Если ты не сделал ничего супер странного со строками, то он должен избавиться от проблемы "из коробки".
Проверьте следующую копию и вставку с моей консоли - я пробовал с образцом из вашего вопроса:

user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> someDynamicStr = "bar" # could come from various sources

>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo{}".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
uUnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
">>> u"foo{}".format(someDynamicStr)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
>>>

и теперь __future__ магия:

user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import unicode_literals
>>> someDynamicStr = "bar" # could come from various sources
>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo{}".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
u'foo\xff'
>>> u"foo{}".format(someDynamicStr)
u'foo\xff'
>>> 

Я вижу, что у вас есть много изменений, связанных с решениями, с которыми вы могли столкнуться. Я просто собираюсь обратиться к вашему исходному сообщению, которое я считаю:"я хочу создать оболочку вокруг конструктора unicode, который проверяет ввод".

на unicode метод является частью стандартной библиотеки Python. Вы украшения на unicode метод для добавления проверок в метод.

def add_checks(fxn):
    def resulting_fxn(*args, **kargs):
        # this is where whether the input is of type str
        if type(args[0]) is str:
            # do something
        # this is where the encoding/errors parameters are set to the default values
        encoding = 'utf-8'

        # Set default error behavior
        error = 'ignore'

        # Print any information (i.e. traceback)
        # print 'blah'
        # TODO: for traceback, you'll want to use the pdb module
        return fxn(args[0], encoding, error)
    return resulting_fxn

использование этого будет выглядеть так:

unicode = add_checks(unicode)

мы перезапишите существующее имя функции, чтобы не пришлось изменять все вызовы в большом проекте. Вы хотите сделать это очень рано во время выполнения, так что последующие вызовы нового поведения.