scrapy打包解决无法运行

scrapy打包无法运行

解决方法

建议采用脚本运行，下面是main.py

参考文档：https://docs.scrapy.org/en/latest/topics/practices.html

# 第一步：导入scrapy工具类
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import scrapy.utils.misc
import scrapy.core.scraper
# 第二步：导入爬虫和项目文件（这里是防止打包错误）
from project.spiders import Spider
import project.items
import project.pipelines
import project.settings
import project.middlewares

# 第三步：重写scrapy框架方法，防止打包出错
def warn_on_generator_with_return_value_stub(spider, callable):
    pass
scrapy.utils.misc.warn_on_generator_with_return_value = warn_on_generator_with_return_value_stub
scrapy.core.scraper.warn_on_generator_with_return_value = warn_on_generator_with_return_value_stub
# main方法，运行爬虫
if __name__ == '__main__':
    process = CrawlerProcess(get_project_settin)
    process.crawl(Spider)
    process.start()