Python Scrapy爬虫框架使用的方法

示例

下面是一个简单的Python爬虫Scrapy框架代码示例，该代码可以抓取百度搜索结果页面中指定关键字的链接和标题等信息：

import scrapyclass BaiduSpider(scrapy.Spider):    name = 'baidu'    allowed_domains = ['www.baidu.com']    start_urls = ['http://www.baidu.com/s?wd=python']    def parse(self, response):        for link in response.css('h4 a'):            item = {'title': link.css('::text').get(),                    'link': link.attrib['href']}            yield item

具体说明

首先定义了一个名为"BaiduSpider"的Spider类，继承自scrapy.Spider。其中name属性表示该爬虫的名称，allowed_domains属性表示可抓取的域名范围，start_urls属性则列出了需要抓取页面的初始URL地址。

在类中定义了一个名为"parse"的方法，用于处理抓取到的网页内容。在该方法中使用CSS选择器语法来提取页面中我们需要的信息，例如抓取标签下的链接和标题。

在parse方法中构造了一个dict类型的item对象，包含了每个链接对应的标题和URL地址。

最后，使用yield语句将item对象生成并返回，使得Scrapy框架将其转化为CSV、JSON或XML等格式的数据并保存在磁盘上。

该示例只是Scrapy框架代码的冰山一角，实际上Scrapy提供了大量的模块和工具类，例如Item、Pipeline、Downloader等组件，可协助完成页面解析、数据清洗、存储等操作。因此，在使用Scrapy进行爬虫开发时，需要仔细阅读官方文档，熟悉其API接口和机制。

Scrapy框架爬虫使用代理ip

在Scrapy框架中使用代理IP进行网络爬取，需要先定义一个Downloader Middleware，用于向请求中添加代理。需要注意的是，代理服务器必须支持HTTP协议，否则无法正常工作。以下是一个基本的Scrapy爬虫代理IP使用示例：

在settings.py中添加如下配置项：

DOWNLOADER_MIDDLEWARES = {    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,    'my_project.middlewares.ProxyMiddleware': 410,}

其中’scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware’是Scrapy默认提供的下载器中间件，它可以自动从settings.py文件中获取代理的信息；'my_project.middlewares.ProxyMiddleware’是我们自定义的下载器中间件，用来设置代理。

在项目目录下创建一个新的Python脚本middlewares.py，定义ProxyMiddleware类：

import randomclass ProxyMiddleware(object):    # 代理服务器地址列表    def __init__(self, proxy_list):        self.proxies = proxy_list    @classmethod    def from_crawler(cls, crawler):        return cls(            proxy_list=crawler.settings.getlist('PROXY_LIST')        )    # 每次请求执行该方法，随机从代理池中选取一个代理发送请求    def process_request(self, request, spider):        proxy = random.choice(self.proxies)        request.meta['proxy'] = proxy        print('Use proxy: ', proxy)

其中proxy_list是代理服务器的地址列表，需要在settings.py文件中定义为配置项，如下所示：

PROXY_LIST = [    'http://123.45.67.89:8080',    'http://123.45.67.90:8080',    # ...]

最后，在爬虫启动前需要指定运行命令时使用的设置文件和代理池地址，例如：

scrapy crawl my_spider -s PROXY_LIST='proxy_list.txt'

其中proxy_list.txt文件包含了代理服务器地址，每一行一个，例如：

http://123.45.67.89:8080
http://123.45.67.90:8080

这样，在进行网络请求时就可以自动使用随机的代理地址发送请求，提高爬虫数据抓取的效率和可靠性。