BeautifulSoup.метод find all () не работает с тегами пространства имен

я столкнулся с очень странным поведением во время работы с BeautifulSoup сегодня.

давайте посмотрим на очень простой фрагмент html:

<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>

Я пытаюсь получить контент <ix:nonfraction> - тег с BeautifulSoup.

все работает нормально при использовании find способ:

from bs4 import BeautifulSoup

html = "<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>"

soup = BeautifulSoup(html, 'lxml') # The parser used here does not matter

soup.find('ix:nonfraction')

>>> <ix:nonfraction>lele</ix:nonfraction>

однако, при попытке использовать find_all метод, я ожидаю, что список с этим одним возвращенным элементом, что не так !

soup.find_all('ix:nonfraction')
>>> []

в самом деле find_all кажется, возвращает пустой список каждый раз, когда двоеточие присутствует в теге, который я ищу.

я смог воспроизвести проблему на двух разных компьютерах.

есть ли у кого-нибудь объяснение и, что более важно, обходной путь ? Мне нужно использовать find_all метод просто потому, что мой фактический случай требует, чтобы я получил все эти теги на всей странице html.

3 ответов


причина, по которой решение @yosemite_k работает, заключается в том, что в исходном коде bs4 оно пропускает определенное условие, которое вызывает это поведение. На самом деле вы можете сделать много вариаций, которые приведут к тому же результату. Примеры:

soup.find_all({"ix:nonfraction"})
soup.find_all('ix:nonfraction', limit=1)
soup.find_all('ix:nonfraction', text=True)

Ниже приведен фрагмент из исходного кода beautifulsoup это показывает, что происходит, когда вы вызываете find или find_all. Вы увидите это find просто называет find_all С limit=1. В _find_all он проверяет состояние:

if text is None and not limit and not attrs and not kwargs:

если он попадает в это условие, то он может в конечном итоге сделать это до этого условия:

# Optimization to find all tags with a given name.
if name.count(':') == 1:

если он делает это там, то он делает переназначение name:

# This is a name with a prefix.
prefix, name = name.split(':', 1)

это где вы поведение отличается. Пока find_all не соответствует ни одному из предыдущих условий, тогда вы найдете элемент.

beautifulsoup4==4.6.0

def find(self, name=None, attrs={}, recursive=True, text=None,
         **kwargs):
    """Return only the first child of this Tag matching the given
    criteria."""
    r = None
    l = self.find_all(name, attrs, recursive, text, 1, **kwargs)
    if l:
        r = l[0]
    return r
findChild = find

def find_all(self, name=None, attrs={}, recursive=True, text=None,
             limit=None, **kwargs):
    """Extracts a list of Tag objects that match the given
    criteria.  You can specify the name of the Tag and any
    attributes you want the Tag to have.

    The value of a key-value pair in the 'attrs' map can be a
    string, a list of strings, a regular expression object, or a
    callable that takes a string and returns whether or not the
    string matches for some custom definition of 'matches'. The
    same is true of the tag name."""

    generator = self.descendants
    if not recursive:
        generator = self.children
    return self._find_all(name, attrs, text, limit, generator, **kwargs)


def _find_all(self, name, attrs, text, limit, generator, **kwargs):
    "Iterates over a generator looking for things that match."

    if text is None and 'string' in kwargs:
        text = kwargs['string']
        del kwargs['string']

    if isinstance(name, SoupStrainer):
        strainer = name
    else:
        strainer = SoupStrainer(name, attrs, text, **kwargs)

    if text is None and not limit and not attrs and not kwargs:
        if name is True or name is None:
            # Optimization to find all tags.
            result = (element for element in generator
                      if isinstance(element, Tag))
            return ResultSet(strainer, result)
        elif isinstance(name, str):
            # Optimization to find all tags with a given name.
            if name.count(':') == 1:
                # This is a name with a prefix.
                prefix, name = name.split(':', 1)
            else:
                prefix = None
            result = (element for element in generator
                      if isinstance(element, Tag)
                        and element.name == name
                      and (prefix is None or element.prefix == prefix)
            )
            return ResultSet(strainer, result)
    results = ResultSet(strainer)
    while True:
        try:
            i = next(generator)
        except StopIteration:
            break
        if i:
            found = strainer.search(i)
            if found:
                results.append(found)
                if limit and len(results) >= limit:
                    break
    return results

оставляя имя тега пустым и используя ix в качестве атрибута.

soup.find_all({"ix:nonfraction"}) 

работает

EDIT:' ix: nonfraction ' не является именем тега, поэтому суп.find_all ("ix:nonfraction") вернул пустой список для несуществующего тега.


>>> soup.findAll('ix:nonfraction')
[<ix:nonfraction>lele</ix:nonfraction>]

FindAll Документация