分布式技术

三、龙与屠龙者 互联网并非一直如此。我们所熟知的互联网发源于万维网（World Wide Web），由蒂姆·伯纳斯-李（Timothy Berners-Lee）在欧洲核子研究组织（CERN）工作时设计，最早用于科学家之间传输数据，第一台服务器于1991年上线。 万维网使用HTTP协议（HyperText Transfer Protocol，超文本传输协议）进行数据传输。这项协议预设了服务器与客户端的分离：服务器负责准备数据（例如网页），客户端浏览器负责接收和处理数据（例如渲染...

声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本文无关 前言 废话不多说，直接开始吧~本次爬取的网站是：有缘网 一、基本配置 一台master机，一台slave机，本文使用的master是云服务器（Ubuntu），而slave是我的笔记本电脑（Windows） 两台机都需要安装Python3.7、Scrapy框架、Scrapy-Redis框架 在master机上安装Redis数据库，并配置好能够远程连接等等 二、分析页面 我们随便筛选几个条件搜索一下，发现...