http工作原理实现

最新推荐文章于 2022-04-07 15:29:02 发布
最新推荐文章于 2022-04-07 15:29:02 发布
阅读量219 收藏
点赞数
分类专栏： 工作相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zn505119020/article/details/76546634
版权

采用urllib模块实现


import random
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup

head_connection = ['Keep-Alive', 'close']
head_accept = ['text/html, application/xhtml+xml, */*']
head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                   'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                   'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                   'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                   'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                   'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                   'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

header = {
    'Connection': head_connection[0],
    'Accept': head_accept[0],
    'Accept-Language': head_accept_language[1],
    'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
}
query_rl = "https://www.baidu.com"
req = urllib.request.Request(url=query_rl, headers=header)
webpage = urllib.request.urlopen(req)
html = webpage.read()
soup = BeautifulSoup(html, 'html.parser')



采用requests模块实现


import random
import requests
from bs4 import BeautifulSoup

head_connection = ['Keep-Alive', 'close']
head_accept = ['text/html, application/xhtml+xml, */*']
head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                   'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                   'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                   'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                   'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                   'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                   'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                   'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

header = {
    'Connection': head_connection[0],
    'Accept': head_accept[0],
    'Accept-Language': head_accept_language[1],
    'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
}

query_rl = "https://www.baidu.com"
SESSION = requests.session()
r = SESSION.get(url=query_rl, headers=header)
soup = BeautifulSoup(r.text, 'html.parser')


zn505119020
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringMVC工作原理实例详解
08-24
SpringMVC 工作原理实例详解 SpringMVC 是 Spring Framework 中的一部分，当我们需要使用 Spring 框架创建 web 应用程序时，就需要引入 SpringWebMVC。SpringMVC 工作原理实例详解中，通过示例代码介绍了非常详细，...
网络通信工作原理.pptx
最新发布
11-12
网络通信工作原理 网络通信工作原理是计算机网络中的一种基本概念，指的是计算机网络中数据传输的原理和机制。在计算机网络中，数据的传输是通过网络协议来实现的。网络协议是一种约定，规定了数据传输的格式、结构...
http的工作原理
weixin_34040079的博客
01-05 196
客户机与服务器建立连接后，发送一个请求给服务器，请求格式为：统一资源标识符、协议版本号。服务器收到请求的信息（包括请求行，请求头，请求体）。服务器接收到请求后，给予相应的响应信息，格式为一个状态行（包括响应行，响应头，响应体）。在internet上，http通讯通常发生在TCP/IP连接之上。缺省端口是TCP的80端口。基于HTTP协议的客户/服务器模式的信息交换过程，分为四个过程：建立连接、发送...
浅析http的实现原理
yuanchangliang的博客
06-26 799
http的实现原理 http的实现原理其实就是数据在传输过程中的，基于TCP/IP 的通信协议，主要分为四步： 1.连接： 客户端与服务端建立连接，写入scoket虚拟文件后就表示建立连接 2.请求： 通过TCP套接字，客户端向Web服务器发送一个文本的请求报文，一个请求报文由请求行、请求头部、空行和请求数据4部分组成 3.应答： Web服务器解析请求，定位请求资源。服务器将资源复本写到TCP套接字，由客户端读取。一个响应由状态行、响应头部、空行和响应数据4部分组成。 4.断开连接： 若connection
https的原理与实现
HWQlet的博客
05-19 274
我们接触到的大多都是HTTP协议，协议没有进行加密。 然后就有SSL协议，用于对HTTP协议传输进行数据加密，然后就有了HTTPS HTTPS： 数据完整性：要进行完整性校验，可以用摘要算法来防止数据传输中被篡改 数据隐私性：对内容进行对称加密（速度更快，消耗资源小）给每个连接生成一个唯一的sessionID 身份认证：第三方无法伪造身份，用非对称加密算法（需要CA） 工作原理 客户端发起HTTPS请求，SSL连接由客户端启动，用户输入一个网址，然后连接到server的443端口 客户端发送内
http原理
yuhaiqi666的博客
07-13 1189
HTTP工作原理 HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。    * HTTP 请求/响应的步骤* 1. ...
HTTP的工作原理、HTTP的特点
try to do
03-05 1629
https://blog.csdn.net/csdn_0_001/article/details/79252241 HTTP的特点： 简单快速：客户向服务器请求服务时，只需传送请求方法和路径。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。 灵活：可以传输任意类型的数据对象（Content-Type） 无连接：无连接的含义是限制每次连接只处理一个请求。 服务器处理完客户的...
Jmeter工作原理及常见错误解析
09-07
**Jmeter工作原理** 1. **多线程模型**：JMeter的工作方式是通过创建多个线程（虚拟用户）来模拟实际用户对服务器的并发访问。每个线程代表一个用户，执行预设的测试计划，包括发送HTTP或HTTPS请求、执行脚本、处理...
P2P 的实现原理...
07-02
本人近两年来也一直从事P2P方面的开发工作，比较有代表性的是个人开发的BitTorrent下载软件 - FlashBT(变态快车). 对P2P下载或者P2P的开发感兴趣的朋友可以访问软件的官方主页: http://www.hwysoft.com/chs/ 下载看...
代码分析Spring MVC的工作原理
08-25
Spring MVC 工作原理详解 Spring MVC 是一个基于 Java 的 Web 应用程序框架，广泛应用于企业级 Web 应用程序的开发。了解 Spring MVC 的工作原理对于深入理解和使用该框架非常重要。本文将对 Spring MVC 的工作原理...
HTTP原理
MichelleZhai的博客
05-12 1191
文章目录一、什么是HTTP二、通信过程三、请求方法（method）四、状态码（HTTP status code） 一、什么是HTTP 超文本传输协议，专门用于Web通信 http：普通http协议，不安全，已逐步替代 https：安全http协议，RSA非对称加密，理论上无可接受的破解方案 版本问题： http1.0 （1996年）早起版本，已废除 http1.1 （1999年）现行http版本，就有持久连接特性（keey-alive） http2.0 （2015年）最新的http版本，尚未普及，具有多路
HTTP详解(1)-工作原理
热门推荐
黄规速博客:学如逆水行舟，不进则退
03-16 9万+
1. HTTP简介 HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。 在了解HTTP如何工作之前，我...
http协议原理
衡与墨的博客
04-07 2971
HTTP工作原理 HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。 以下是 HTTP 请求/响应的步骤： 客户端连接到Web服务器 一个HTTP客户端，通常是浏览器，与Web服务器的HTTP端口（默认为80）建立一个TCP
HTTP基本原理（简介）
Robin Hu的专栏
03-03 1万+
原文：http://blog.csdn.net/hguisu/article/details/8680808 1. HTTP简介          HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输
HTTP的概念、原理以及工作机制
阿亮的博客
07-05 7382
HTTP 的定义⼀种⽹络传输协议，位于 TCP / IP 协议族的最顶层——应⽤层HTTPHypertext Transfer Protocol，超⽂本传输协议，和 HTML (Hypertext Markup Language 超⽂本标 记语⾔) ⼀起诞⽣，⽤于在⽹络上请求和传输 HTML 内容。 超⽂本，即「扩展型⽂本」，指的是 HTML 中可以有链向别的⽂本的链接（hyperlink）。HT...
HTTP协议的工作原理
GSON的博客
05-03 6916
1111
HTTP协议基本原理
HaoT9541的博客
04-03 1313
HTTP：超文本传输协议（HyperText Transfer Protocol，HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。WWW是以Internet作为传输媒介的一个应用系统，WWW网上最基本的传输单位是Web网页。WWW的工作基于客户机/服务器计算模型，由Web 浏览器(客户机)和Web服务器(服务器)构成，两者之间采用超文本传送协议（H...
HTTP基本原理
AI吕小布
02-12 1万+
在本节中，我们会详细了解HTTP的基本原理，了解在浏览器中敲入URL到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步了解爬虫的基本原理。1. URI和URL这里我们先了解一下URI和URL，URI的全称为Uniform Resource Identifier，即统一资源标志符，URL的全称为Universal Resource Locator，即统一资源定位符。举例来说，https:...
HTTP协议工作原理详解
"本文详细介绍了HTTP协议的工作原理，包括其在Web服务中的角色，HTTP协议的基本概念，以及HTTP...理解HTTP协议的工作原理对于Web开发者来说至关重要，因为它有助于优化网页加载速度，处理错误，以及实现更高效的通信。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值