2.爬虫基础——了解url网址

最新推荐文章于 2024-06-02 18:54:26 发布
最新推荐文章于 2024-06-02 18:54:26 发布
阅读量423 收藏
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zizi_ydc/article/details/104371779
版权

1.什么是URL？

url即统一资源定位符，用于定位网络上的资源，每一个心愿在网络上都有唯一的地址。
URL的格式为
在这里插入图片描述

2.URL的组成

scheme ：访问因特网的协议，常见的协议有
http（超文本传输协议，接受和发布html页面）、
https（加密版的http)、
ftp（文件传输协议）、
file（本地文件传输协议）

host :主机名、域名，如：www.baidu.com

port ：定义主机上的端口号,（http为80，https为443）

path ：定义服务器上的路径，（如果省略，文档必须位于网站的根目录）

query-string ：定义文档资源名称。当搜索美食时在这里插入图片描述

anchor：网页锚点

jillypilly111
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫URL的几个概念 - AI小白进阶之路
weixin_44812668的博客
05-02 435
Python爬虫URL的几个概念 - AI小白进阶之路一、GET和POST1.1 GET1.2 POST二、URL组成部分2.1 URL：全球统一资源定位符URL例子三、User-Agent用户代理user-agent四、refer五、状态码 一、GET和POST 1.1 GET GET：查询参数都会在URL上展示出来 get请求一般是从服务器获取数据，并不会对服务器产生任何影响 url中有域名...
初识爬虫—URL
qq_272941692的博客
08-20 2406
网络爬虫，一门被认为是偷偷摸摸拿人家东西的技术，实则不然，其实爬虫是光明正大的拿人家东西的技术。理直气壮对不对，我喜欢。 网络爬虫，也叫网络蜘蛛。它可以根据网页地址（URL）爬取你想要的数据。 URL 专业一些的叫法是统一资源定位符（Uniform Resource Locator），它的一般格式如下（带方括号[]的为可选项）： protocol : // hostname[:port] / path / [ ;parameters ] [ ?query ]#fragment URL 的格式主要由前个三部分
4.爬虫基础——你真的了解url(网址)吗？
python伊甸园的博客
10-20 5916
1.什么是URL？ URL:（Uniform Resource Locator,统一资源定位符），用于定位网络上的资源，每一个信息资源在网上都有唯一的一个地址，俗称网址。比如：打开https://www.baidu.com/，就会显示如下网页。 2.URL的组成？ URL遵守以下的语法规则： scheme://host:port/path/?query-string=xxx#anch...
【Python网络爬虫】详解python爬虫中URL资源抓取
最新发布
左手の明天的博客
06-02 1451
要使用Python进行URL资源抓取，首先需要明确目标：是想要抓取网页的HTML内容，还是想要从网页中提取特定的数据（如文本、链接、图片等）。以下是一个基本的步骤指南，以及相关的代码示例，帮助你开始URL资源抓取的工作。
python爬虫基础扫盲之URL
weixin_42730667的博客
09-05 1073
URL全称为Uniform Resurce Locator统一资源定位符，在上世纪90年代互联网刚刚发展起来时，为了解决在多机联网上场景中便于方便查找资源，于是一帮人（当然大部分是美国人）制定了一个标准，为网上各个资源统一定义一个资源位置，方便大家查找资源，该资源位置即为URL，每个资源的URL为全球唯一，后来该标准逐渐纳入到RFC当中，URL的RFC协议总体纲要为RFC1808,该协议对URL的...
【Python爬虫历程】URL详解
Demo.demo的博客
03-24 934
如果想要爬虫，首先就得了解URL URL是`Uniform Resource Locator`的简写，统一资源定位符。 一个URL由以下几部分组成： scheme://host:port/path/?query-string=xxx#anchor -**scheme**：代表的是访问的协议，一般为`http`或者`https`以及`ftp`等。 -**host**：主机名，域名，比如`ww...
url详解---爬虫学习
python_Allen的博客
06-24 561
URL是Uniform Resource Locator的简写，统一资源定位符。 一个URL由以下几部分组成： scheme://host:port/path/?query-string=xxx#anchor scheme：代表的是访问的协议，一般为http或者https以及ftp等。 host：主机名，域名，比如www.baidu.com。 port：端口号。当你访问一个网站的时候，浏览器默认使用80端口。 path：查找路径。比如：www.jianshu.com/trending/now，后面的tre
python爬虫概述——深入了解爬虫原理
04-26
HTTP协议是爬虫的基础，爬虫需要掌握HTTP和HTTPS的概念和默认端口，了解常见的响应状态码，掌握爬虫关注的请求头和响应头。 爬虫的概念、作用、分类、流程、HTTP协议等知识点是爬虫开发的基础，需要深入了解和掌握...
爬虫之——Beautiful Soup基础
12-21
**Beautiful Soup库基础** Beautiful Soup库，简称bs4，是一个Python的HTML和XML解析库，它可以帮助我们解析和提取网页中的数据，是网络爬虫领域常用的一个工具。要使用Beautiful Soup，首先需要进行安装。在...
Java爬虫入门——使用Jsoup解析HTML页面.zip
03-08
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
Python爬虫技术是数据获取和网络自动化的重要工具，尤其在大数据时代，它...通过实践这样的实例，你可以更深入地了解网络请求的原理，学习如何解析和提取HTML中的有用信息，从而为后续更复杂的爬虫项目打下坚实的基础。
爬虫常用工具类网站
年轻就做四件事：挣钱存钱、见世面、交朋友、学本事。
05-16 1728
https://spidertools.cn/#/ 爬虫工具库 各种格式化 参数提取 加密解密 爬虫分享。http://tool.chinaz.com/tools/unicode.aspx 站长工具编码解码合集。http://web.chacuo.net/netproxycheck 代理服务器连接测试工具。https://www.json.cn/ json解析 json处理。https://base64.us/ Base64编码解码。
分享两个python爬虫练习网站
m0_59162248的博客
11-30 6851
写爬虫程序，很多人会担心写爬虫触犯一些法律什么的，事实上不侵犯损害他人利益以及不影响网站正常工作，只是娱乐正常使用是没问题的，尤其是批量化大规模操作的时候，所以一开始写爬虫代码时，了解一些还是有必要的。 比如我自己在课程中第一次进行批量操作的时候就会告知可能的影响。
爬虫如何找准url
热门推荐
weixin_67182546的博客
03-28 1万+
在爬取网站时，许多人会弄错url。url分为两类，一类是静态的（get），一类是动态的（post）。 那么如何区分动静态呢？方法很简单，在爬取的页面查看网页源代码，用ctrl+f随便查找一个要爬取的数据，如果源代码里面有该数据，那么该网站就是你要找的静态url，如果没有那么该网站就是动态的url。动态url需要按fn+f12，然后如图所示找到即可。 ...
Python爬虫——URL编码/解码详解
Itmastergo的博客
12-30 7055
当 URL 路径或者查询参数中，带有中文或者特殊字符的时候，就需要对 URL 进行编码（采用十六进制编码格式）。URL 编码的原则是使用安全字符去表示那些不安全的字符。安全字符，指的是没有特殊用途或者特殊意义的字符。
[Python]网络爬虫（一）：抓取网页的含义和URL基本构成
thewebcode
05-13 1950
一、网络爬虫的定义 网络爬虫，即Web Spider，是一个很形象的名字。 把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址， 然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。 如果把整个互联网当成一...
网络爬虫六-URL
saizo123的博客
03-28 748
URL是Uniform Resource Location的缩写，译为“统一资源定位符”。也可以说，URL是Internet上用来描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL的格式由三部分组成：第一部分是协议(或称为服务方式)。第二部分是存有该资源的主机IP地址，包括端口号，默认为80。第三部
python中url什么意思_python爬虫中的url下载器是什么?怎么用？
weixin_39631649的博客
12-01 575
接上一篇我们提到url下载器，那么前期的入库筛选工作已经由url管理器完成了，整理的工作自然要由url下载器接手。当我们需要爬取的数据已经去重后，下载器的主要任务的是这些数据下载下来。所以它的使用也并不复杂，不过需要借助到我们之前所学过的一个库进行操作，相信之前的基础大家都学的很牢固。下面小编就来为大家介绍url下载器及其使用的方法。下载器的作用就是接受URL管理器传递给它的一个url，然后把该网...
爬虫实战——网页抓取及信息提取
05-23
网页抓取及信息提取是爬虫的核心技术之一，它涉及到如何从网页中获取所需的信息并将其存储下来。以下是一个简单的爬虫实战示例，演示如何使用Python的requests和BeautifulSoup库从网页中获取信息。 首先，我们需要导入requests和BeautifulSoup库： ```python import requests from bs4 import BeautifulSoup ``` 接下来，我们可以使用requests库发送一个HTTP请求来获取网页内容： ```python url = 'http://www.example.com' response = requests.get(url) content = response.text ``` 在上面的代码中，我们定义了一个URL并使用requests库发送一个GET请求，得到了响应。然后使用response.text属性获取响应的文本内容。 接下来，我们使用BeautifulSoup库从网页中提取所需的信息。假设我们需要获取网页中的所有链接，可以使用以下代码： ```python soup = BeautifulSoup(content, 'html.parser') links = [] for link in soup.find_all('a'): links.append(link.get('href')) ``` 在上面的代码中，我们首先使用BeautifulSoup库将网页内容解析成一个BeautifulSoup对象。然后，使用find_all()方法查找所有的链接，并使用get()方法获取链接的href属性，最后将链接存储在一个列表中。 以上就是一个简单的网页抓取及信息提取的实战示例。当然，爬虫的实现涉及到更多的技术和细节，例如如何处理反爬机制、如何使用多线程或异步IO等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值