Отслеживание неявных преобразований unicode в Python 2
у меня есть большой проект, где в разных местах использовались проблемные неявные преобразования Unicode (coersions) в виде, например:
someDynamicStr = "bar" # could come from various sources
# works
u"foo" + someDynamicStr
u"foo{}".format(someDynamicStr)
someDynamicStr = "xff" # uh-oh
# raises UnicodeDecodeError
u"foo" + someDynamicStr
u"foo{}".format(someDynamicStr)
(возможно, и другие формы.)
теперь я хотел бы отследить эти обычаи, особенно в активно используемом коде.
было бы здорово, если бы я мог бы легко заменить unicode
конструктор с оболочкой, которая проверяет, имеет ли вход тип str
и encoding
/errors
параметры устанавливаются в значения по умолчанию, а затем уведомляет меня (печать отладочных или подобные).
/ edit:
хотя это не имеет прямого отношения к тому, что я ищу, я наткнулся на этот славно ужасный хак для того, как сделать исключение декодирования полностью уйти (декодировать только один, т. е. str
до unicode
, но не наоборот, см. https://mail.python.org/pipermail/python-list/2012-July/627506.html).
Я не планирую использовать его, но это может быть интересно для тех, кто борется с проблемами с недопустимым вводом Unicode и ищет быстрое исправление (но, пожалуйста, подумайте о побочных эффектах):
import codecs
codecs.register_error("strict", codecs.ignore_errors)
codecs.register_error("strict", lambda x: (u"", x.end)) # alternatively
(поиск в интернете для codecs.register_error("strict"
показал, что, по-видимому, он используется в некоторых реальных проектах.)
/ edit #2:
для явного преобразования Я сделал фрагмент с помощью так пост на monkeypatching:
class PatchedUnicode(unicode):
def __init__(self, obj=None, encoding=None, *args, **kwargs):
if encoding in (None, "ascii", "646", "us-ascii"):
print("Problematic unicode() usage detected!")
super(PatchedUnicode, self).__init__(obj, encoding, *args, **kwargs)
import __builtin__
__builtin__.unicode = PatchedUnicode
это влияет только на явные преобразования с помощью unicode()
конструктор напрямую, так что это не то, что мне нужно.
/ edit #3:
нить "метод расширения для встроенных типов python!" заставляет меня думать, что на самом деле это может быть нелегко (по крайней мере, в CPython).
/правка #4:
приятно видеть здесь много хороших ответов, жаль, что я могу выдать награду только один раз.
могу ли я отключить неявные преобразования Python unicode, чтобы найти ошибки смешанных строк? Обратите внимание, что бросание исключения будет не были в порядке в моем случае. Здесь я искал что-то, что могло бы укажите мне различные местоположения проблемного кода (например, путем печати smth.), но не то, что может выйти из программы или изменить свое поведение (потому что таким образом я могу определить, что исправить).С другой стороны, люди, работающие над проектом Mypy (в том числе Гвидо ван Россум), могут также придумать что-то подобное полезное в будущем, см. обсуждения в https://github.com/python/mypy/issues/1141 и совсем недавно https://github.com/python/typing/issues/208.
/ edit #5
Я также наткнулся на следующее, но еще не было времени, чтобы проверить его:https://pypi.python.org/pypi/unicode-nazi
4 ответов
вы можете зарегистрировать пользовательскую кодировку, которая печатает сообщение, когда оно используется:
код ourencoding.py
:
import sys
import codecs
import traceback
# Define a function to print out a stack frame and a message:
def printWarning(s):
sys.stderr.write(s)
sys.stderr.write("\n")
l = traceback.extract_stack()
# cut off the frames pointing to printWarning and our_encode
l = traceback.format_list(l[:-2])
sys.stderr.write("".join(l))
# Define our encoding:
originalencoding = sys.getdefaultencoding()
def our_encode(s, errors='strict'):
printWarning("Default encoding used");
return (codecs.encode(s, originalencoding, errors), len(s))
def our_decode(s, errors='strict'):
printWarning("Default encoding used");
return (codecs.decode(s, originalencoding, errors), len(s))
def our_search(name):
if name == 'our_encoding':
return codecs.CodecInfo(
name='our_encoding',
encode=our_encode,
decode=our_decode);
return None
# register our search and set the default encoding:
codecs.register(our_search)
reload(sys)
sys.setdefaultencoding('our_encoding')
если вы импортируете этот файл в начале нашего скрипта, вы увидите предупреждения для неявных преобразований:
#!python2
# coding: utf-8
import ourencoding
print("test 1")
a = "hello " + u"world"
print("test 2")
a = "hello ☺ " + u"world"
print("test 3")
b = u" ".join(["hello", u"☺"])
print("test 4")
c = unicode("hello ☺")
выход:
test 1
test 2
Default encoding used
File "test.py", line 10, in <module>
a = "hello ☺ " + u"world"
test 3
Default encoding used
File "test.py", line 13, in <module>
b = u" ".join(["hello", u"☺"])
test 4
Default encoding used
File "test.py", line 16, in <module>
c = unicode("hello ☺")
это не идеально, как показывает тест 1, Если преобразованная строка содержит только символы ASCII, иногда вы не увидите предупреждение.
что вы можете сделать, это следующее:
сначала создайте пользовательскую кодировку. Я назову его "lascii" для "ведения журнала ASCII":
import codecs
import traceback
def lascii_encode(input,errors='strict'):
print("ENCODED:")
traceback.print_stack()
return codecs.ascii_encode(input)
def lascii_decode(input,errors='strict'):
print("DECODED:")
traceback.print_stack()
return codecs.ascii_decode(input)
class Codec(codecs.Codec):
def encode(self, input,errors='strict'):
return lascii_encode(input,errors)
def decode(self, input,errors='strict'):
return lascii_decode(input,errors)
class IncrementalEncoder(codecs.IncrementalEncoder):
def encode(self, input, final=False):
print("Incremental ENCODED:")
traceback.print_stack()
return codecs.ascii_encode(input)
class IncrementalDecoder(codecs.IncrementalDecoder):
def decode(self, input, final=False):
print("Incremental DECODED:")
traceback.print_stack()
return codecs.ascii_decode(input)
class StreamWriter(Codec,codecs.StreamWriter):
pass
class StreamReader(Codec,codecs.StreamReader):
pass
def getregentry():
return codecs.CodecInfo(
name='lascii',
encode=lascii_encode,
decode=lascii_decode,
incrementalencoder=IncrementalEncoder,
incrementaldecoder=IncrementalDecoder,
streamwriter=StreamWriter,
streamreader=StreamReader,
)
то, что это делает, в основном то же самое, что и ASCII-кодек, просто он печатает сообщение и текущую трассировку стека каждый раз, когда он кодирует или декодирует из unicode в lascii.
Теперь вам нужно сделать его доступным для модуля кодеков, чтобы его можно было найти по имени "lascii". Для этого нужно создать поиск функция, которая возвращает lascii-кодек, когда он подается со строкой "lascii". Затем это регистрируется в модуле кодеков:
def searchFunc(name):
if name=="lascii":
return getregentry()
else:
return None
codecs.register(searchFunc)
последнее, что осталось сделать, это сказать модулю sys использовать "lascii" в качестве кодировки по умолчанию:
import sys
reload(sys) # necessary, because sys.setdefaultencoding is deleted on start of Python
sys.setdefaultencoding('lascii')
предупреждение: При этом используются некоторые устаревшие или не рекомендованные функции. Это может быть неэффективно или без ошибок. Не использовать в производстве, только для тестирования и/или отладки.
просто добавить:
from __future__ import unicode_literals
в начале ваших файлов исходного кода - это должен быть первый импорт, и он должен быть во всех файлах исходного кода, затронутых, и головная боль от использования unicode в Python-2.7 уходит. Если ты не сделал ничего супер странного со строками, то он должен избавиться от проблемы "из коробки".
Проверьте следующую копию и вставку с моей консоли - я пробовал с образцом из вашего вопроса:
user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> someDynamicStr = "bar" # could come from various sources
>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo{}".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
Traceback (most recent call last):
File "<stdin>", line 2, in <module>
uUnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
">>> u"foo{}".format(someDynamicStr)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
>>>
и теперь __future__
магия:
user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import unicode_literals
>>> someDynamicStr = "bar" # could come from various sources
>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo{}".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
u'foo\xff'
>>> u"foo{}".format(someDynamicStr)
u'foo\xff'
>>>
Я вижу, что у вас есть много изменений, связанных с решениями, с которыми вы могли столкнуться. Я просто собираюсь обратиться к вашему исходному сообщению, которое я считаю:"я хочу создать оболочку вокруг конструктора unicode, который проверяет ввод".
на unicode
метод является частью стандартной библиотеки Python. Вы украшения на unicode
метод для добавления проверок в метод.
def add_checks(fxn):
def resulting_fxn(*args, **kargs):
# this is where whether the input is of type str
if type(args[0]) is str:
# do something
# this is where the encoding/errors parameters are set to the default values
encoding = 'utf-8'
# Set default error behavior
error = 'ignore'
# Print any information (i.e. traceback)
# print 'blah'
# TODO: for traceback, you'll want to use the pdb module
return fxn(args[0], encoding, error)
return resulting_fxn
использование этого будет выглядеть так:
unicode = add_checks(unicode)
мы перезапишите существующее имя функции, чтобы не пришлось изменять все вызовы в большом проекте. Вы хотите сделать это очень рано во время выполнения, так что последующие вызовы нового поведения.