Python爬虫初学（三）—— 模拟登录知乎

获取验证码

知乎登录一般需要填入验证码，如果没有post这个参数过去，是不能成功登录的。

知乎的验证码开始把我给坑了，在html内容的页面里搜索能看到验证码图片的网址，但是实际用xxx.read().decode('utf-8')获取到的网页内容是没有这个网址的，它被隐藏了!好狡诈。研究无果只好搜索，从知乎上这个问题xchaoinfo的回答找到答案，结果是这个图片网址中的一串数字就是时间戳。

验证码的链接

时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。

通过time.time()可以查看当前时间戳。比如我当前是1471771678.5400066,看是不是和上面红框中的很接近！通过过换算关系t = time.time() * 1000可以得到图片链接的关键部分，其余部分都是不变的。验证码的完整地址为captcha_url = 'http://www.zhihu.com/captcha.gif?r=' + t + "&type=login"。好了，链接知道了，下载下来查看并手动输入就行了。再把这个post过去应该就可以登录成功了，好激动。

def get_captcha():
    """
    获取验证码本地显示
    返回你输入的验证码
    """
    t = str(int(time.time() * 1000))
    # 验证码完整网址
    captcha_url = 'http://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
    # 下载验证码图片，用下面注释掉的方法一样的效果
    request.urlretrieve(captcha_url, 'cptcha.gif')
    # image_data = request.urlopen(captcha_url).read()
    # with open('cptcha.gif', 'wb') as f:
    #     f.write(image_data)
    # 用Pillow库显示图片，免去手动去文件夹打开的麻烦
    im = Image.open('cptcha.gif')
    im.show()
    captcha = input('本次登录需要输入验证码： ')
    return captcha

3. 尝试模拟登录知乎

关键的两个东西我们都获取到了，现在登录一下试试吧！要将登录方式考虑进去，如果检测到用于输入手机号，则我们应该访问手机登录网址；否则就是邮箱登录。

def login(username, password):
    """
    输入自己的账号密码，模拟登录知乎
    """
    # 检测到11位数字则是手机登录
    if re.match(r'\d{11}$', username):
        url = 'http://www.zhihu.com/login/phone_num'
        data = {'_xsrf': get_xsrf(),
                'password': password,
                'remember_me': 'true',
                'phone_num': username
                }
    else:
        url = 'https://www.zhihu.com/login/email'
        data = {'_xsrf': get_xsrf(),
                'password': password,
                'remember_me': 'true',
                'email': username
                }
    # 若不用验证码，直接登录
    post_data = parse.urlencode(data).encode('utf-8')
    r = opener.open(url, post_data)
    result = r.read().decode('utf-8')
    # 打印返回的响应，r = 1代表响应失败，msg里是失败的原因
    # 要用验证码，post后登录
    if (json.loads(result))["r"] == 1:
        data['captcha'] = get_captcha()
        post_data = parse.urlencode(data).encode('utf-8')
        r = opener.open(url, post_data)
        result = r.read().decode('utf-8')
        print((json.loads(result))['msg'])
    # 保存cookie到本地
    cookie.save(ignore_discard=True, ignore_expires=True)

关于那句print((json.loads(result))['msg']) ，opener携带数据post过去，请求网址得到的响应会返回登录信息，该数据是json类型，刚开始我一直是登录失败的，返回这样的玩意儿！

"r": 1,

"errcode": 1991829,

"data": {"captcha":"\u9a8c\u8bc1\u7801\u9519\u8bef"},

"msg": "\u9a8c\u8bc1\u7801\u9519\u8bef"

r为1表示登录失败，0表示登录成功。msg里反映的是登录失败的原因是”验证码会话失效“。

这里一定注意，登录是一个连贯的过程。这个过程我们总共有三次访问网址，一定保证包括获取动态参数，获取验证码、最终模拟登陆都使用同一个opener。这也是登录失败的原因之一，因为刚开始获取_xsrf和验证码时用的是urlopen()。urllib标准库并不很强大，可以尝试requests库，会让这个过程变得简单。

看下结果吧。如果显示登录成功，可以访问以下个人资料的网址，这个如果登录失败了是不能查看的，会返回到登录界面的网址。

个人资料网页

好了，这次模拟登录感觉与前两次学习比起来难度加深了，好多问题还得靠搜索才能解决。加油吧。

这里贴上全部代码。

import re
from urllib import parse, request
import http.cookiejar
from PIL import Image
import time
import json
# 建立LWPCookieJar实例，可以存Set-Cookie3类型的文件。
# 而MozillaCookieJar类是存为'.txt'格式的文件
cookie = http.cookiejar.LWPCookieJar('cookie')
# 若本地有cookie则不用再post数据了
try:
    cookie.load(ignore_discard=True)
except IOError:
    print('Cookie未加载！')
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                         '(KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
           "Host": "www.zhihu.com",
           "Referer": "https://www.zhihu.com/",
           }
opener = request.build_opener(request.HTTPCookieProcessor(cookie))
# 给openner添加headers, addheaders方法接受元组而非字典
opener.addheaders = [(key, value) for key, value in headers.items()]
def get_xsrf():
    """
    获取参数_xsrf
    """
    response = opener.open('https://www.zhihu.com')
    html = response.read().decode('utf-8')
    get_xsrf_pattern = re.compile(r'

# requests返回html内容
response = requests.get('https://www.zhihu.com', headers=headers)
    html = response.text
# urllib返回html内容
req = urllib.request.Request(url)
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')

session = requests.Session()
session.get(url, headers)
session.post(url, headers, data)

import re
import requests
import http.cookiejar
from PIL import Image
import time
import json
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                         '(KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
           "Host": "www.zhihu.com",
           "Referer": "https://www.zhihu.com/",
           }
# 建立一个会话，可以把同一用户的不同请求联系起来；直到会话结束都会自动处理cookies
session = requests.Session()
# 建立LWPCookieJar实例，可以存Set-Cookie3类型的文件。
# 而MozillaCookieJar类是存为'/.txt'格式的文件
session.cookies = http.cookiejar.LWPCookieJar("cookie")
# 若本地有cookie则不用再post数据了
try:
    session.cookies.load(ignore_discard=True)
except IOError:
    print('Cookie未加载！')
def get_xsrf():
    """
    获取参数_xsrf
    """
    response = session.get('https://www.zhihu.com', headers=headers)
    html = response.text
    get_xsrf_pattern = re.compile(r'