python 版本：python35
主要代码：
from selenium import webdriver
from pyquery import PyQuery
if __name__== '__main__':
browser = webdriver.Chrome()
browser.get("https://movie.douban.com/explore")
browser.find_element_by_class_name('more').click()...
selenium
-
2023.07.25 | admin | 112次围观
-
2023.07.08 | admin | 121次围观
更多技术文章:Redirecting... 背景 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生js实现鼠标移上去显示详细信息，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载... -
2023.06.22 | admin | 193次围观
selenium 是 web 应用中基于 UI 的自动化测试框架，支持多平台、多浏览器、多语言。 提到 UI 自动化就先了解什么是自动化测试？ 目录 1. 自动化测试 2. UI 自动化 2.1 UI 自动化的特点 2.2 UI 自动化测试的优缺点 2.3 UI 自动化测试的使用对象 2.4 UI 自动化测试框架 3. selenium 3.1 selenium IDE 3.1.1 selenium IDE 的使用 3.1.2 selenium IDE 的特点 3.2 web... -
2023.06.12 | admin | 137次围观
Cookie 是网站用于存储用户信息的一些数据文件，它们可以使网站记住用户的登录状态、偏好设置和本地内容等。Cookie 有两种类型：第一方 Cookie 是由您访问过的网站创建的网站可以不使用cookie吗，第三方 Cookie 是由其他网站创建的。 一般情况下可能需要获取浏览器点击弹出新窗口的 Cookie 信息的场景有： 当使用Python调用Selenium库时，你可以通过以下步骤来获取浏览器点击弹出新窗口的Cookie信息： 首先，确保你已经安装了Selenium库...
-
2023.05.18 | admin | 211次围观
知乎专栏：经管人学数据分析 这一讲，我将会为大家讲解稍微复杂一点的爬虫，即动态网页的爬虫。 动态网页技术介绍 动态网页爬虫技术一之API请求法 动态网页爬虫技术二之模拟浏览器法 安装selenium模块下载 Google Chrome Driver安装 ChromeDriver以某宝某只松鼠店铺为例爬取"坚果炒货"的商品名称、价格、销量以及评论数量 课后作业 关于作者 动态网页技术介绍 所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页... -
2023.05.15 | admin | 204次围观
除了处理网站表单，requests模块还是一个设置请求头的利器。HTTP 的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。HTTP 定义了十几种古怪的请求头类型，不过大多数都不常用。只有下面的七个字段被大多数浏览器用来初始化所有网络请求（表中信息是我自己浏览器的数据）。 经典的 Python 爬虫在使用urllib标准库时，都会发送如下的请求头： 如果你是一个防范爬虫的网站管理员，你会让哪个请求头访问你的网站呢？ 安装 Requests 可在模块的网站上找... -
2023.04.12 | admin | 145次围观
前言 相信大家在使用selenium做网页自动化时，会遇到如下这样的一个场景： 在你使用get访问某一个网址时，会在页面中弹出如上图所示的弹出框。 首先想到是利用Alert类来处理它。 然而，很不幸，Alert类处理的结果就是没有结果，并不能够将这个弹出框关闭掉。 无法用处理alert的方式来关闭该弹出框，不关闭又无法对页面进行其他操作，怎么办呢？ 解决方案 用键盘的Enter键来关闭该弹出框。 由于send_keys方法只能是针对元素来发送selenium的key值，而当前...