我试图boilerpipe
用Python 运行multiprocessing
.这样做是为了解析来自多个来源的RSS源.问题是它在处理一些链接后挂在其中一个线程中.如果我删除池并在循环中运行它,整个流程都有效.
这是我的多处理代码:
proc_pool = Pool(processes=4) for each_link in data: proc_pool.apply_async(process_link_for_feeds, args=(each_link, ), callback=store_results_to_db) proc_pool.close() proc_pool.join()
这是我boilerpipe
在里面调用的代码process_link_for_feeds()
:
def parse_using_bp(in_url): extracted_html = "" if ContentParser.url_skip_p.match(in_url): return extracted_html try: extractor = Extractor(extractor='ArticleExtractor', url=in_url) extracted_html = extractor.getHTML() del extractor except BaseException as e: print "Something's wrong at Boilerpipe -->", in_url, "-->", e extracted_html = "" finally: return extracted_html
我对它悬挂的原因一无所知.proc_pool
代码中有什么问题吗?