「哈喽,大家好,我是了不起」。
用过Python抓取、操作网页的小伙伴们有福了!了不起看到一款很棒的Python网页自动化工具--DrissionPage,它能让小伙伴们很轻松的进行网页自动化操作啦,不用再头疼如何面对那些复杂的WEB页面了!下面,了不起就给大家介绍一下!
项目概述
DrissionPage 是一个基于 python 的网页自动化工具库。它既能控制浏览器,也能收发数据包,还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大,内置无数人性化设计和便捷功能。它的语法简洁而优雅,代码量少,对新手友好。它的理念是简洁!易用 !方便!
项目背景
用 requests 做数据采集面对要登录的网站时网页能打开但是搜索页面打不开,要分析数据包、JS 源码,构造复杂的请求,往往还要应付验证码、JS 混淆、签名参数等反爬手段,门槛较高,开发效率不高。使用浏览器,可以很大程度上绕过这些坑,但浏览器运行效率不高。
因此,这个库设计初衷,是将它们合而为一,同时实现“写得快”和“跑得快”。能够在不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。
除了合并两者,本库还以网页为单位封装了常用功能,提供非常简便的操作和语句,使用户可减少考虑细节,专注功能实现。以简单的方式实现强大的功能,使代码更优雅。
以前的版本是对 selenium 进行重新封装实现的。从 3.0 开始,作者另起炉灶,对底层进行了重新开发,摆脱对 selenium 的依赖,增强了功能,提升了运行效率。
项目特性和亮点
作者经过长期实践,踩过无数坑,总结出的经验全写到这个库里了。
强大的自研内核
本库采用全自研的内核,内置了 N 多实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:
● 无 webdriver 特征,不会被网站识别
● 无需为不同版本的浏览器下载不同的驱动
● 运行速度更快
● 可以跨查找元素,无需切入切出
● 把看作普通元素,获取后可直接在其中查找元素,逻辑更清晰
● 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换
● 可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存
● 可以对整个网页截图,包括视口外的部分(90以上版本浏览器支持)
● 可处理非open状态的 shadow-root
亮点功能
除了以上优点,本库还内置了无数人性化设计。
● 极简的语法规则。集成大量常用功能,代码更优雅
● 定位元素更加容易,功能更强大稳定
● 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心
● 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
● 允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便
● 使用 ini 文件保存常用配置,自动调用,提供便捷的设置,远离繁杂的配置项
● 内置 lxml 作为解析引擎,解析速度成几个数量级提升
● 使用 POM 模式封装,可直接用于测试,便于扩展
● 高度集成的便利功能,从每个细节中体现
示例截图
了不起有话说
这个项目非常值得小伙伴们收藏、试用!毕竟是一个很成熟的开源工具库,让小伙伴们操控网页变得非常方便和容易了!感兴趣的小伙伴们还可以阅读它的代码进行自己定制哦。项目地址:
写在最后
ChatGPT 编程圈
不得不说,「ChatGPT对于程序员和准程序员的帮助是极大的。」
这一块我已经做过好一些实操,后续的实操结果也会在我的知识星球进行更新。
在这里介绍一下我的知识星球:「ChatGPT 编程圈」,「一个专注于 AI 编程的知识星球。」
ChatGPT 是一项全新的技术,目前国内的大厂都已经在进行对标产品的研制。
对于咱们普通程序员来讲,会使用 ChatGPT 和不会使用 ChatGPT ,将来的工作效率或许会差上数倍。
「GPT 能够完成很多搜索引擎完成不了的事」,比如,直接帮你改脚本。
不过和改脚本这件事相比,更难想到的是,让GPT来帮忙改脚本。
「有这个想法很难得。」
「所以这也是我建立知识星球的初衷:」一个人的力量是有限的,集合大家的力量,才能探索更多高效的GPT玩法。****
从名字就能看出来,「ChatGPT编程圈」的定位是专注于编程的知识星球,这个星球,只做编程相关的分享。
目前星球提供的服务包括:
目前星球刚刚成立,处于试运营阶段。
很多小伙伴搞不定 ChatGPT 账号,并且现在账号越来越难注册。
所以现在加入有一项福利,「送一个独立的 ChatGPT 账号。」
账号在加入星球5天内发放。
社群「第一期的定价是299元一年」,但目前还处于试运营的状态,做了一个超级大的活动。
每增加100人,星球的价格上涨10元,目前最新的价格是50元网页能打开但是搜索页面打不开,价格一直在调整,抓紧上车,这个价格手慢无!!
仅仅只需要50块钱就可以买下这个星球!
今天,星球第一天营业,中午就开始输出内容啦~
好啦,今天就唠到这里,我是了不起,咱们下期见呀~
欢迎大家加我微信,我会在朋友圈更新日常思考,分享一下副业感悟和经历,最新的优惠活动都会第一时间发布到朋友圈,欢迎围观。
(加我微信,防止失联!)
版权声明
本文仅代表作者观点。
本文系作者授权发表,未经许可,不得转载。
发表评论