保存Scrapy响应的屏幕截图
创始人
2024-11-22 16:00:22
0

要保存Scrapy响应的屏幕截图,可以使用Scrapy的middlewares中的一个叫做ScreenshotMiddleware的中间件。以下是一个包含代码示例的解决方法:

  1. 首先,确保安装了scrapy-splashPillow这两个Python库。

  2. 在Scrapy项目的settings.py文件中添加以下配置:

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    'your_project_name.middlewares.ScreenshotMiddleware': 800,  # 添加此行
}

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

SPLASH_URL = 'http://localhost:8050/'
  1. 在Scrapy项目的middlewares.py文件中添加以下代码:
from scrapy import signals
from scrapy.http import HtmlResponse
from PIL import Image


class ScreenshotMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        middleware = cls()
        crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened)
        crawler.signals.connect(middleware.spider_closed, signal=signals.spider_closed)
        return middleware

    def spider_opened(self, spider):
        self.spider = spider

    def spider_closed(self, spider):
        self.spider = None

    def process_response(self, request, response, spider):
        if spider and response.status == 200:
            screenshot = self.take_screenshot(response)
            screenshot.save(f"{spider.name}_{response.url.replace('/', '_')}.png")

        return response

    def take_screenshot(self, response):
        image = Image.open(response.body)
        return image
  1. 现在,当Scrapy爬虫运行时,ScreenshotMiddleware中间件会在每个响应返回时调用take_screenshot方法将响应内容转换为图像,并将图像保存为PNG文件。保存的文件名由爬虫名和响应URL组成,其中斜杠(/)被下划线(_)替换。

请注意,此代码示例假设你已经配置了Splash服务并将其运行在http://localhost:8050/上。如果你使用的是其他服务或端口,请相应地修改splash_url的值。

希望这可以解决你的问题!

相关内容

热门资讯

七分钟辅助!丽水茶苑苹果手机辅... 七分钟辅助!丽水茶苑苹果手机辅助,本来是真的有辅助教程(有挂方式)1、实时丽水茶苑苹果手机辅助透视辅...
第一分钟辅助!闲来辅助神器下载... 第一分钟辅助!闲来辅助神器下载2022,好像真的有辅助方法(有挂教程)1、不需要AI权限,帮助你快速...
九分钟辅助!丽水都莱辅助工具试... 九分钟辅助!丽水都莱辅助工具试用,确实存在有辅助神器(有挂方法)九分钟辅助!丽水都莱辅助工具试用,确...
第一分钟辅助!蛮王辅助器,好像... 第一分钟辅助!蛮王辅助器,好像是有辅助方法(有挂教学)1、首先打开蛮王辅助器辅助器下载最新版本,在蛮...
第六分钟辅助!潮汕汇挂,一贯真... 第六分钟辅助!潮汕汇挂,一贯真的是有辅助插件(有挂辅助)1、这是跨平台的潮汕汇挂轻量版有透视,在线的...
六分钟辅助!微信开心泉州辅助器... 六分钟辅助!微信开心泉州辅助器,一直有辅助器(有挂教学)1、下载好微信开心泉州辅助器透视辅助下载之后...
第3分钟辅助!佛手十三道破解版... 第3分钟辅助!佛手十三道破解版安卓,竟然真的有辅助攻略(有挂存在)1、让任何用户在无需佛手十三道破解...
2分钟辅助!sohoo竞技联盟... 2分钟辅助!sohoo竞技联盟辅助,切实真的有辅助脚本(有挂技术)1.sohoo竞技联盟辅助 选牌创...
第8分钟辅助!心悦手游辅助器,... 第8分钟辅助!心悦手游辅助器,原来真的是有辅助技巧(确实有挂);1、每一步都需要思考,不同水平的挑战...
第十分钟辅助!广东雀神祈福真的... 第十分钟辅助!广东雀神祈福真的有用吗,都是是有辅助技巧(有挂方略)1、下载好广东雀神祈福真的有用吗透...