0

    很棒的网页自动化工具--DrissionPage

    2023.05.29 | admin | 199次围观

    「哈喽,大家好,我是了不起」。

    用过Python抓取、操作网页的小伙伴们有福了!了不起看到一款很棒的Python网页自动化工具--DrissionPage,它能让小伙伴们很轻松的进行网页自动化操作啦,不用再头疼如何面对那些复杂的WEB页面了!下面,了不起就给大家介绍一下!

    项目概述

    DrissionPage 是一个基于 python 的网页自动化工具库。它既能控制浏览器,也能收发数据包,还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大,内置无数人性化设计和便捷功能。它的语法简洁而优雅,代码量少,对新手友好。它的理念是简洁!易用 !方便!

    项目背景

    用 requests 做数据采集面对要登录的网站时网页能打开但是搜索页面打不开,要分析数据包、JS 源码,构造复杂的请求,往往还要应付验证码、JS 混淆、签名参数等反爬手段,门槛较高,开发效率不高。使用浏览器,可以很大程度上绕过这些坑,但浏览器运行效率不高。

    因此,这个库设计初衷,是将它们合而为一,同时实现“写得快”和“跑得快”。能够在不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。

    除了合并两者,本库还以网页为单位封装了常用功能,提供非常简便的操作和语句,使用户可减少考虑细节,专注功能实现。以简单的方式实现强大的功能,使代码更优雅。

    以前的版本是对 selenium 进行重新封装实现的。从 3.0 开始,作者另起炉灶,对底层进行了重新开发,摆脱对 selenium 的依赖,增强了功能,提升了运行效率。

    项目特性和亮点

    作者经过长期实践,踩过无数坑,总结出的经验全写到这个库里了。

    强大的自研内核

    本库采用全自研的内核,内置了 N 多实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:

    ● 无 webdriver 特征,不会被网站识别

    ● 无需为不同版本的浏览器下载不同的驱动

    ● 运行速度更快

    ● 可以跨查找元素,无需切入切出

    ● 把看作普通元素,获取后可直接在其中查找元素,逻辑更清晰

    ● 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换

    ● 可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存

    ● 可以对整个网页截图,包括视口外的部分(90以上版本浏览器支持)

    ● 可处理非open状态的 shadow-root

    亮点功能

    除了以上优点,本库还内置了无数人性化设计。

    ● 极简的语法规则。集成大量常用功能,代码更优雅

    ● 定位元素更加容易,功能更强大稳定

    ● 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心

    ● 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能

    ● 允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便

    ● 使用 ini 文件保存常用配置,自动调用,提供便捷的设置,远离繁杂的配置项

    ● 内置 lxml 作为解析引擎,解析速度成几个数量级提升

    ● 使用 POM 模式封装,可直接用于测试,便于扩展

    很棒的网页自动化工具--DrissionPage

    ● 高度集成的便利功能,从每个细节中体现

    示例截图

    了不起有话说

    这个项目非常值得小伙伴们收藏、试用!毕竟是一个很成熟的开源工具库,让小伙伴们操控网页变得非常方便和容易了!感兴趣的小伙伴们还可以阅读它的代码进行自己定制哦。项目地址:

    写在最后

    ChatGPT 编程

    不得不说,「ChatGPT对于程序员和准程序员的帮助是极大的。」

    这一块我已经做过好一些实操,后续的实操结果也会在我的知识星球进行更新。

    在这里介绍一下我的知识星球:「ChatGPT 编程圈」,「一个专注于 AI 编程的知识星球。」

    ChatGPT 是一项全新的技术,目前国内的大厂都已经在进行对标产品的研制。

    对于咱们普通程序员来讲,会使用 ChatGPT 和不会使用 ChatGPT ,将来的工作效率或许会差上数倍。

    「GPT 能够完成很多搜索引擎完成不了的事」,比如,直接帮你改脚本。

    不过和改脚本这件事相比,更难想到的是,让GPT来帮忙改脚本。

    「有这个想法很难得。」

    「所以这也是我建立知识星球的初衷:」一个人的力量是有限的,集合大家的力量,才能探索更多高效的GPT玩法。****

    从名字就能看出来,「ChatGPT编程圈」的定位是专注于编程的知识星球,这个星球,只做编程相关的分享。

    目前星球提供的服务包括:

    目前星球刚刚成立,处于试运营阶段。

    很多小伙伴搞不定 ChatGPT 账号,并且现在账号越来越难注册。

    所以现在加入有一项福利,「送一个独立的 ChatGPT 账号。」

    账号在加入星球5天内发放。

    社群「第一期的定价是299元一年」,但目前还处于试运营的状态,做了一个超级大的活动。

    每增加100人,星球的价格上涨10元,目前最新的价格是50元网页能打开但是搜索页面打不开,价格一直在调整,抓紧上车,这个价格手慢无!!

    仅仅只需要50块钱就可以买下这个星球!

    今天,星球第一天营业,中午就开始输出内容啦~

    好啦,今天就唠到这里,我是了不起,咱们下期见呀~

    欢迎大家加我微信,我会在朋友圈更新日常思考,分享一下副业感悟和经历,最新的优惠活动都会第一时间发布到朋友圈,欢迎围观。

    (加我微信,防止失联!)

    版权声明

    本文仅代表作者观点。
    本文系作者授权发表,未经许可,不得转载。

    发表评论