爬虫

爬虫

爬虫的本质是什么？

模拟浏览器打开网页，获取网页中我们想要的那部分数据

浏览器打开网页的过程： 当你在浏览器中输入地址后，经过 DNS 服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括 html,js,css 等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果

所以用户看到的浏览器的结果就是由 HTML 代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤 html 代码，从中获取我们想要资源（文本，图片，视频.....）

爬虫的基本流程

  • 发起请求

    通过HTTP库向目标站点发起请求，也就是发送一个 Request，请求可以包含额外的 header 等信息，等待服务器响应

  • 获取响应内容

    如果服务器能正常响应，会得到一个 Response，Response 的内容便是所要获取的页面内容，类型可能是 HTML,Json 字符串，二进制数据（图片或者视频）等类型

  • 解析内容

    得到的内容可能是 HTML,可以用正则表达式，页面解析库进行解析，可能是 Json,可以直接转换为 Json 对象解析，可能是二进制数据，可以做保存或者进一步的处理

  • 保存数据

    保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件

能爬取什么样的数据

  • 网页文本：如 HTML 文档，Json 格式化文本等

  • 图片：获取到的是二进制文件，保存为图片格式

  • 视频:同样是二进制文件

  • 其他：只要请求到的，都可以获取

如何解析数据

  • 直接处理

  • Json 解析

  • 正则表达式处理

  • BeautifulSoup 解析处理

  • PyQuery 解析处理

  • XPath 解析处理

关于抓取的页面数据和浏览器里看到的不一样的问题

出现这种情况是因为，很多网站中的数据都是通过 js，ajax 动态加载的，所以直接通过 get 请求获取的页面和浏览器显示的不同。

如何解决 js 渲染的问题？

  • 分析 ajax

  • Selenium/webdriver

  • Splash

  • PyV8, Ghost.py

怎样保存数据

  • 文本 ：纯文本，Json,Xml 等

  • 关系型数据库 ：如 mysql,oracle,sql server 等结构化数据库

  • 非关系型数据库 ：MongoDB,Redis 等 key-value 形式存储

Scrapy

  • https://github.com/scrapy/scrapy

Scrapy 是一套基于基于 Twisted 的异步处理框架，纯 python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便

安装

pip install scrapy

示例代码

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for title in response.css('h2.entry-title'):
            yield {'title': title.css('a ::text').extract_first()}

        next_page = response.css('div.prev-post > a ::attr(href)').extract_first()
        if next_page:
            yield scrapy.Request(response.urljoin(next_page), callback=self.parse)

运行

scrapy runspider spider.py
Previous反序列化NextPillow