文章分三个个部门

1. 两个爬虫库requests和selenium若何使用
2. html剖析库BeautifulSoup若何使用
3. 动态加载的网页数据用requests怎么抓

两个爬虫库

requests

假设windows下安装好了python和pip。
下面用pip安装爬虫库requests

若是提醒pip版本低，不建议升级，升级后可能python自己版本低，导致pip指令报错。

进入Python命令行验证requests库是否能够使用

看到import requests和requests.get函数都没有报错，说明安装乐成可以开发我们的第一个爬虫程序了！
将代码文件命名为test.py，用IDEL打开。

最简朴的爬虫就这么几行！

1. 引入requests库，
2. 用get函数接见对应地址，
3. 判断是否抓取乐成的状态，r.text打印出抓取的数据。

然后菜单栏点击Run->Run Module 会弹出Python的命令行窗口，而且返回效果。我们接见的是腾讯公布新冠肺炎疫情的地址

若是没有IDEL，直接cmd命令行运行根据下面执行

selenium

selenium库会启动浏览器，用浏览器接见地址获取数据。下面我们演示用selenium抓取网页，并剖析爬取的html数据中的信息。先安装selenium

接下来安装剖析html需要的bs4和lxml。
安装bs4

安装lxml

要确保windows环境变量path的目录下有chromedriver

我d盘的instantclient_12_2已经加到path里了。以是chromedriver解压到这个目录。chromedriver差别的版本对应Chrome浏览器的差别版本，最先我下载的chromedriver对应Chrome浏览器的版本是71-75（图中最下面的），我的浏览器版本是80以是重新下载了一个才好使。
代码如下

Python执行历程中会弹出

浏览器也自动启动，接见目的地址

IDEL打印效果如下

HTML剖析库BeautifulSoup

selenium例子中爬取数据后使用BeautifulSoup库对html举行剖析，提取了感兴趣的部门。若是不剖析，抓取的就是一整个html数据，有时也是xml数据，xml数据对标签的剖析和html是一样的原理，两者都是<tag>来区分数据的。这种花样的数据结构一个页面一个样子，剖析起来很贫苦。BeautifulSoup提供了壮大的剖析功效，可以辅助我们省去不少贫苦。
使用之前安装BeautifulSoup和lxml。
首先代码要引入这个库（参考上面selenium库代码）

from bs4 import BeautifulSoup  

然后，抓取

r = request.get(url)      
r.encoding='utf8'  
html=r.read() #urlopen获取的内容都在html中  
mysoup=BeautifulSoup(html, 'lxml') #html的信息都在mysoup中了   

假设我们对html中的如下部门数据感兴趣

<data>  
        <day>20200214</day>  
        <id>1</id>  
        <rank>11</rank>  
        <name>张三</name>  
    </data>  
    <data>  
        <day>20200214</day>  
        <id>4</id>  
        <rank>17</rank>  
        <name>李斯</name>  
    </data>  

首先要找到tag标签为<data>的数据，而这类数据不止一条，我们以两条为例。那么需要用到beautifulsoup的find_all函数，返回的效果应该是两个<data>数据。当处置每一个<data>数据时，内里的<id><name>等标签都是唯一的，这时使用find函数。

,

以太坊统计网

www.326681.com采用以太坊区块链高度哈希值作为统计数据，联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口，支持多语言接入。

,

mysoup=BeautifulSoup(html, 'lxml')    
data_list=mysoup.find_all('data')  
for data in data_list:#list应该有两个元素  
    day = data.find('day').get_text() #get_text是获取字符串，可以用.string取代  
    id = data.find('id').get_text()  
    rank = data.find('rank').get_text()  
    name = data.find('name').get_text()  
    #print name  可以print测试剖析效果  

这是beautifulsoup最简朴的用法，find和find_all不仅可以根据标签的名字定位元素，还可以根据class，style等种种属性，以及文本内容text作为条件来查找你感兴趣的内容，异常壮大。

requests库若何抓取网页的动态加载数据

还是以新冠肺炎的疫情统计网页为例。本文开头requests例子最后打印的效果内里只有题目、栏目名称之类的，没有累计确诊、累计殒命等等的数据。由于这个页面的数据是动态加载上去的，不是静态的html页面。需要根据我上面写的步骤来获取数据，关键是获得URL和对应参数formdata。下面以火狐浏览器讲讲若何获得这两个数据。
肺炎页面右键，泛起的菜单选择检查元素。

点击上图红色箭头网络选项，然后刷新页面。如下，

这里会泛起许多网络传输纪录，考察最右侧红框“巨细”那列，这列示意这个http请求传输的数据量巨细，动态加载的数据一样平常数据量会比其它页面元素的传输大，119kb相比其它按字节盘算的算是很大的数据了，固然网页的装饰图片有的也很大，这个需要根据文件类型那列来甄别。

url带参数

然后点击域名列对应那行，如下

可以在新闻头中瞥见请求网址，url的尾部问号后面已经把参数写上了。
途中url注释，name是disease_h5，callback是页面回调函数，我们不需要有回调动作，以是设置为空，_对应的是时间戳（Python很容易获得时间戳的），由于查询肺炎患者数目和时间是慎密相关的。
我们若是使用带参数的URL，那么就用

url='网址/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(stamp*1000)     
requests.get(url)   

url和参数星散

点击参数可以瞥见url对应的参数

若是使用参数和url星散的形式那么
那么就这样

url="网址/g2/getOnsInfo"  

formdata = {'name': 'disease_h5',   
'callback': '',   
'_': 当前时间戳    
}    

requests.get(url, formdata)  

找url和参数需要耐心剖析，才气准确甄别url和参数的寄义，举行准确的编程实现。参数是否可以空，是否可以硬编码写死，是否有特殊要求，对照依赖履历。

总结

学完本文，阅读爬虫代码就很容易了，所有代码都是为了乐成get到url做的准备以及抓到数据之后的剖析而已。
有的url很简朴，返回一个.dat文件，内里直接就是json花样的数据。有的需要设置大量参数，才气获得，而且获得的是html花样的，需要剖析才气提取数据。
爬到的数据可以存入数据库，写入文件，也可以现抓现展示不存储。