在简单学习了python爬虫后,又想继续折腾网页找不到了错误信息连接失败,进而找到了这个网易云音乐,因为本人平时就是用它听的歌,也喜欢看歌里的评论,所以就爬网易云音乐评论吧,那么开始吧!
正式进入主题
首先还是去找目标网页并开始分析网页结构,如下
上面的三个箭头都是所要找的数据,分别是评论用户,评论和点赞数,都可以用正则表达式找出来,接下来继续找怎样找到下一页的数据,还是用开发者工具,但是当点击下一页的时候,网页的url没有变,说明网页是动态加载,所以就不能在当前网页找数据了,应该在他的xhr文件里找,所以点入network看看,然后也点击下一页一看,果然有想要的
看到这里,就兴奋地去敲代码了
一点击运行,结果什么东西都没有,但是他的状态码是200,明显请求成功啊,却没有东西返回,再去network仔细看看这个网页,看到他是个post请求,也看到了需要post两个参数params和ensSecKey
一看到这个,密密麻麻的数字和字母,就猜应该是被加密了,不过可以复制下来看看有没有用。接下来看下他的Response,咦,这是个json,不是html结构的,所以需要用到Json库来进行解析
现在开始敲代码吧,先把上面的两个参数复制过来看看。
现在把每条评论的评论用户和点赞数和评论获取出来
可以看到,利用json.loads()方法把数据转成python格式里的字典后就可以把想要的数据取出来了,但是网页找不到了错误信息连接失败,下一页怎样取?总不能每次都复制粘贴那两个参数吧?那唯一的方法就是不爬了。。怎么可能?我的继续,那我就要进行破解这两个参数了,那好继续看network,因为要加密,肯定要用js进行加密的
看到刚才那个网站的发起者core.js,,然后把它文件下载下来慢慢研究
保存后在经过美化,然后进行查找那个encSecKey参数(ps:JSj’e’tong’yang’de美化网址为…
看到window.asrsea()方法有四个参数,先不去管这个函数,先看看他的四个参数是什什,这里没必要去研究那四个参数怎样来的,只需要知道他是什么,那么我们可以加点代码上去让他显示出来,从而利用fiddler来进行调试
加入代码如下
可以分别获取上面的每一个参数,也把那个params获取看看,然后在fiddler上操作如下
完成上面的设置后刷新网页就可以在console上面找到参数信息,如果没有的话这是因为你之前浏览该网页的时候它被缓存了下来,所以要清除缓存文件(在清除浏览器记录里面有)
那个rid有本歌曲的id,明显是与评论有关的,我试着连翻几页后,发现那个offset就是评论偏移数,offset就是(页数-1)*20,total在第一页是true,在其他页是false
同样的方法也得到第二个参数为:010001
第三个参数为:
00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7
第四个参数为:0CoJUm6Qyw8W8jud
接下来就要看window.asrsea()方法是什么操作的了,还是通过查找js文件可以看到这个
通过研究i是随机获取十六个字符而b函数是AES加密,其中偏移量为0102030405060708,模式为CBC,看回d函数,其中params连续两次加密,第一次加密时,文本为第一个参数。密钥为第四个参数,第二次加密时文本为第一次加密的值,密钥为随机数a。而encSeckey是一个RSA加密,他的公钥是第二个参数,模式是第三个参数,文本为那个随机字符串a
终于分析完了,接着开始敲代码
版权声明
本文仅代表作者观点。
本文系作者授权发表,未经许可,不得转载。
发表评论