作者:X巩工916BGR_426 | 来源:互联网 | 2022-12-10 13:30
目前,我有两个使用Scrapy的小项目。一个项目基本上是刮URL的,而另一个项目只是刮URL的产品。目录结构是这样的:
.
??? requirements.txt
??? .venv
??? url
| ??? geckodriver
| ??? scrapy.cfg
| ??? url
| | ??? items.py
| | ??? middlewares.py
| | ??? pipelines.py
| | ??? settings.py
| | ??? spiders
| | | ??? store1.py
| | | ??? store2.py
| | | ??? ...
??? product
| ??? geckodriver
| ??? scrapy.cfg
| ??? product
| | ??? items.py
| | ??? middlewares.py
| | ??? ...
当我想使用命令运行Spider时,我总是必须遵循以下路径:~/search/url$ scrapy crawl store1
或~/search/product$ scrapy crawl store1
。
如何使用AWS lambda函数部署和运行该项目?