超出最大递归深度.多处理和bs4

我正在尝试使解析器使用beautifulSoup和多处理.我有一个错误:

RecursionError:超出最大递归深度

我的代码是:

import bs4, requests, time
from multiprocessing.pool import Pool

html = requests.get('https://www.avito.ru/moskva/avtomobili/bmw/x6?sgtd=5&radius=0')
soup = bs4.BeautifulSoup(html.text, "html.parser")

divList = soup.find_all("div", {'class': 'item_table-header'})


def new_check():
    with Pool() as pool:
        pool.map(get_info, divList)

def get_info(each):
   pass

if __name__ == '__main__':
    new_check()

为什么我会收到此错误以及如何解决？

更新: 错误的所有文本是

Traceback (most recent call last):
  File "C:/Users/eugen/PycharmProjects/avito/main.py", line 73, in  new_check()
  File "C:/Users/eugen/PycharmProjects/avito/main.py", line 67, in new_check
    pool.map(get_info, divList)
  File "C:\Users\eugen\AppData\Local\Programs\Python\Python36\lib\multiprocessing\pool.py", line 266, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "C:\Users\eugen\AppData\Local\Programs\Python\Python36\lib\multiprocessing\pool.py", line 644, in get
    raise self._value
  File "C:\Users\eugen\AppData\Local\Programs\Python\Python36\lib\multiprocessing\pool.py", line 424, in _handle_tasks
    put(task)
  File "C:\Users\eugen\AppData\Local\Programs\Python\Python36\lib\multiprocessing\connection.py", line 206, in send
    self._send_bytes(_ForkingPickler.dumps(obj))
  File "C:\Users\eugen\AppData\Local\Programs\Python\Python36\lib\multiprocessing\reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
RecursionError: maximum recursion depth exceeded

abarnert.. 8

当您使用时multiprocessing,您传递给工人的所有东西都必须被腌制.

不幸的是,许多BeautifulSoup树木无法腌制.

这有几个不同的原因.其中一些是已修复的错误,所以你可以尝试确保你有最新的bs4版本,有些是特定于不同的解析器或树构建器......但是这样的事情很有可能对这有帮助.

但根本问题是树中的许多元素都包含对树的其余部分的引用.

偶尔,这会导致实际的无限循环,因为循环引用对于其循环引用检测来说太间接.但这通常是一个被修复的错误.

但是,更重要的是,即使循环不是无限的,它仍然可以拖动来自树的其余部分的1000多个元素,这已经足以导致了RecursionError.

我认为后者就是这里发生的事情.如果我拿你的代码并尝试腌制divList[0],它就会失败.(如果我将递归限制上升并计算帧数,它需要23080的深度,这是超过默认值1000的方式.)但如果我完全相同div并分别解析它,它成功没有问题.

所以,一种可能性就是做sys.setrecursionlimit(25000).这将解决这个确切页面的问题,但稍微不同的页面可能需要甚至更多.(另外,它通常不是一个好主意来设置递归限制高,与其说是因为浪费的内存,但因为这意味着实际的无限循环的时间需要25倍和25个之多浪费资源,来检测.)

另一个技巧是编写"修剪树"的代码,在你腌制它之前消除div中的任何向上链接.这是一个很好的解决方案,除了它可能需要做很多工作,并且需要深入了解BeautifulSoup如何工作的内部,我怀疑你想做什么.

最简单的解决方法是有点笨重,但是......你可以将汤转换为字符串,将其传递给孩子,并让孩子重新解析它:

def new_check():
    divTexts = [str(div) for div in divList]
    with Pool() as pool:
        pool.map(get_info, divTexts)

def get_info(each):
    div = BeautifulSoup(each, 'html.parser')

if __name__ == '__main__':
    new_check()

这样做的性能成本可能并不重要; 更大的担心是,如果你有不完美的HTML,转换为字符串并重新解析它可能不是一个完美的往返.因此,我建议您先进行一些测试,不要先进行多处理,以确保不影响结果.

当您使用时multiprocessing,您传递给工人的所有东西都必须被腌制.

不幸的是,许多BeautifulSoup树木无法腌制.

这有几个不同的原因.其中一些是已修复的错误,所以你可以尝试确保你有最新的bs4版本,有些是特定于不同的解析器或树构建器......但是这样的事情很有可能对这有帮助.

但根本问题是树中的许多元素都包含对树的其余部分的引用.

偶尔,这会导致实际的无限循环,因为循环引用对于其循环引用检测来说太间接.但这通常是一个被修复的错误.

但是,更重要的是,即使循环不是无限的,它仍然可以拖动来自树的其余部分的1000多个元素,这已经足以导致了RecursionError.

我认为后者就是这里发生的事情.如果我拿你的代码并尝试腌制divList[0],它就会失败.(如果我将递归限制上升并计算帧数,它需要23080的深度,这是超过默认值1000的方式.)但如果我完全相同div并分别解析它,它成功没有问题.

所以,一种可能性就是做sys.setrecursionlimit(25000).这将解决这个确切页面的问题,但稍微不同的页面可能需要甚至更多.(另外,它通常不是一个好主意来设置递归限制高,与其说是因为浪费的内存,但因为这意味着实际的无限循环的时间需要25倍和25个之多浪费资源,来检测.)

另一个技巧是编写"修剪树"的代码,在你腌制它之前消除div中的任何向上链接.这是一个很好的解决方案,除了它可能需要做很多工作,并且需要深入了解BeautifulSoup如何工作的内部,我怀疑你想做什么.

最简单的解决方法是有点笨重,但是......你可以将汤转换为字符串,将其传递给孩子,并让孩子重新解析它:

def new_check():
    divTexts = [str(div) for div in divList]
    with Pool() as pool:
        pool.map(get_info, divTexts)

def get_info(each):
    div = BeautifulSoup(each, 'html.parser')

if __name__ == '__main__':
    new_check()

这样做的性能成本可能并不重要; 更大的担心是,如果你有不完美的HTML,转换为字符串并重新解析它可能不是一个完美的往返.因此,我建议您先进行一些测试,不要先进行多处理,以确保不影响结果.