Python爬虫（2）
爬取具体的数据：
（记得下载安装好 pycharm方便编译）
爬取双瞳豆瓣影评：
from lxml import etree;
from urllib.request import urlopen
url = 'https://movie.douban.com/subject/1305046/comments'
#测试
request = urlopen(url);
content = request.read().decode();
s = etree.HTML(content)
#获取电影的标题
#@表示选取属性.//表示获取节点
title = s.xpath("//div[@id='content']/h1")
#获取看过的人数
active = s.xpath("//li[@class='is-active']/span/text()")
#获取想看人数
status = s.xpath("//a[@href='?status=F']/text()")
#获取所有用户昵称
comment = s.xpath("//span[@class='comment-info']/a/text()")
#获取所有的评论
short = s.xpath("//span[@class='short']/text()")
#评价数
filter = s.xpath("//span[@class='comment-percent']/text()")
print("标题：",title[0])
print("看过的人数",active[0])
print("想看的人数",status[0])
print("好评",filter[0])
print("一般",filter[1])
print("差评",filter[2])
#print("",comment)
#print("",short)
print("===================================================")
#利用数组循环，使数据一一对应
count = 0;
for name in comment:
print("用户：",name)
print("评论：",short[count])
print("-------------------------------------------------")
count += 1;
结果：
Requests简介：
Python有内置的urllib库，可以实现网络的请求，不推荐使用。因为urllib在很多时候使用起来不方便，比如加一个代理，处理Cookie时API都很繁琐，再比如发送一个POST请求也很麻烦。
而Requests就相当于urllib的升级版本，简化了urllib的使用方法。有了Requests，我们可以用几句代码实现代理的设置，Cookie的设置，非常方便。下面我就给大家整理了Requests库的使用方法和细节。详细可以参考Requests官方文档。
什么是Requests？
Requests是Python语言编写，基于urllib3，采用Apache2 Licensed开源协议的HTTP库。
它比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。是Python实现的简单易用的HTTP库。
安装也很简单：pip install requests
Requests的语法操作
1.实例引入
import requests
response = requests.get('http://www.baidu.com/')
print(response.status_code)
print(type(response.text))
print(response.text)
print(response.cookies)运行结果：
200
<class 'str'>
# ...HTML网页源码..
<RequestsCookieJar[]>可以看到，我们非常方便的就获取到了Cookies.
2.各种请求方式
import requests
requests.get('http://httpbin.org/get') # 发送get请求
requests.post('http://httpbin.org/post') # 发送post请求，只要调用post方法，传入一个url参数
requests.put('http://httpbin.org/put')
requests.delete('http://httpbin.org/delete')官方文档里提供的这个网址足够我们测试这些请求方式了。
请求
1.基本GET请求
import requests
resp = requests.get('http://httpbin.org/get')
print(resp.text)这个我们前面有使用过，也是最常用的方法。运行成功就可以看到网页的源码了。
2.带参数的GET请求
import requests
data = {
'name' : 'jack',
'age' : 20
}
resp = requests.get('http://httpbin.org/get', params=data)
print(resp.text)传入参数只需要我们把数据生成一个字典，然后调用params参数，赋值给他就可以，是不是很方便。
3.解析json
import requests
import json
resp = requests.get('http://httpbin.org/get')
print(resp.text)
print(resp.json())
print(json.loads(resp.text))
print(type(resp.json()))运行结果：
可以看出Requests的jaon解析和json的loads方法解析出来的结果是完全一样的。所以Requests可以很方便的解析json数据。
4.获取二进制数据
import requests
resp = requests.get('http://www.baidu.com/img/baidu_jgylogo3.gif')
print(resp.content)
print(resp.text)运行成功我们可以看到content方法获取的图片页面源码是二进制数据，而text获取的则是字符串代码。显然获取图片这种二进制数据需要使用content方法。
with open('logo.gif','wb') as f:
f.write(resp.content)这样我们就保存了图片，我们可以在文件夹下看到这张图片。
5.添加headers
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
resp = requests.get('http://www.baidu.com', headers=headers)
print(resp.text)
有些网页如果我们直接去请求的话，他会查看请求的对象是不是浏览器，如果没有浏览器信息就会禁止我们爬虫的访问，这个时候我们就要给爬虫加一个headers，加一个浏览器的user-agent信息。这样我们就可以正常访问了。如果有的伙伴不知道怎么得到User-Agent，可以打开浏览器的审查元素，找到network或者直接百度查一个也行，随便点击一个链接就可以看到User-Agent的信息了。
6.基本POST请求
import requests
data = {
'name' : 'jack',
'age' : 20
}
resp = requests.post('http://httpbin.org/post', data=data)
print(resp.text)一个POST必然是要有一个Form Data的表单提交的，我们只要把信息传给data参数就可以了。一个POST请求只需要调用post方法，是不是特别方便呢。如果不觉得方便的话，可以去参考urllib的使用方法。
响应
1.response属性
import requests
response = requests.get('http://www.baidu.com/')
print(type(response.status_code)) # 状态码
print(type(response.text)) # 网页源码
print(type(response.headers)) # 头部信息
print(type(response.cookies)) # Cookie
print(type(response.url)) # 请求的url
print(type(response.history)) # 访问的历史记录获取这些信息只需要简单的调用就可以实现了。
2.状态码判断
>>>import requests
>>>response = requests.get('http://www.baidu.com/')
>>>exit() if not resp.status_code == 200 else print('Sucessful')
Sucessful如果发送了一个错误请求(一个4XX客户端错误，或者5XX服务器错误响应)，我们可以通过 Response.raise_for_status() 来抛出异常：
>>>bad_r = requests.get('http://httpbin.org/status/404')
>>>bad_r.status_code
404
>>>bad_r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error
