python解析真实网页

最新推荐文章于 2024-05-02 22:56:21 发布
最新推荐文章于 2024-05-02 22:56:21 发布
阅读量6.2k 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhikanjiani/article/details/100176876
版权

第一章：上次课回顾

第二章：解析真实世界中的网页

第一章：上次课回顾

https://blog.csdn.net/zhikanjiani/article/details/100148698

第二章：解析真实世界中的网页

技术：Requests库 + BeautifulSoup库 来爬取Trippadvisor

第1步：服务器与本地的交换控制

  • 常识：平常我们在浏览网页的时候，都是向服务器发送一个Request请求，服务器接到请求后返回给我们一个Response，这被称作为HTTP协议。

Request：

  1. 在HTTP1.0中只有三种方法：get、 post、 head
  2. 在HTTP1.1中，又增加了几种方法：put、 options、 connect、 trace、 delete

get、post是最简单的两种方法。

  • GET /page_one.html HTTP/1.1 Host: www.sample.com

比如我们使用电脑和手机去获取网页返回的样子是不一样的，这是一个简单的request中包含的信息。

Response：

是网站回应给我们的信息，我们之前爬取的本地网页；正常是我们向服务器发送请求，服务器以response的方式发送给我们。

更加清晰的认识Request和Response：

  • 任意进入一个网址，右键检查 --> 刷新当前界面 --> 点击network --> 点击第一个网页信息 --> 点击Headers就能查看到Request和Response的信息。
    在这里插入图片描述
    Request中包含以下信息：Cookie、Host、Refer、User-Agent
    Response中包含信息：代理信息nginx

第2步：解析真实网页获取数据的一些办法

2.1 开始编程解析Trippadvisor

此时打印出来的只有一家酒店信息，真实网页中的CSS selector的元素比较复杂。

# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup

# 导入所需要的库
import requests

# 使用requests进行一次网页请求，把返回的response信息放在wb_data
url = 'https://www.tripadvisor.cn/Hotels-g297442-Suzhou_Jiangsu-Hotels.html'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
# print(soup)

title = soup.select('#property_1773649')
print(title)


输出：
[<a class="property_title prominent" data-clicksource="HotelName" dir="ltr" href="/Hotel_Review-g297442-d1773649-Reviews-Hotel_Soul_Suzhou-Suzhou_Jiangsu.html" id="property_1773649" onclick="return false;" target="_blank">苏哥利酒店</a>]

第一次修改：

# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup

# 导入所需要的库
import requests

# 使用requests进行一次网页请求，把返回的response信息放在wb_data
url = 'https://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html#ATTRACTION_SORT_WRAPPER'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
# print(soup)

# 标题：根据规则发现
titles = soup.select('div > div > div > div > div.listing_info > div.listing_title > a')

# 图片的规则是宽度为180的打印出来
images = soup.select('img[width="180"]')

# 获取它的分类
cates = soup.select('#taplc_attraction_coverpage_attraction_0 > div > div:nth-child(1) > div > div > div.shelf_item_container > div > div.poi > div > div:nth-child(4)')
# print(titles,images,cates,sep='\n')

# 把获取到的内容放进一个字典中方便做查询
for title, image, cate in zip(titles,images,cates):
    data = {
        'title':title.get_text(),
        'image':image.get('src'),
        'cate':list(cate.stripped_strings)
    }
    print(data)

# 运行代码后发现如下问题：图片链接都是相同的,此处网站设置了反爬机制

问题：点击进入更多界面后，发现图片都是懒加载的，那怎么获取到这个链接呢，待解决…

  • 直接检查网页源代码：可以看到图片是有一个地址的，在网页源码中去搜索图片地址，我们可以看到它是lazyload的，实际上爬取图片地址有点复杂的；

在这里插入图片描述

  • 我们发现lazyload和图片链接地址是一一对应的，在js代码中找到真实链接去解析出来，可以通过正则表达式来匹配找到真实地址，因为获取时的id会发生变化，接下来会补充。
    在这里插入图片描述

2.2 模仿用户登录

需求：进入到猫途鹰官网中后，把一些地点加入我的喜欢，前提是我们需要登陆；然后进行爬取加入到喜欢中的那些信息。

  • 我们注册登录之后，对这个页面收藏；有一种方法可以让我们跳过登录环节，比如使用request的方式添加一些参数。

  • 还是右键检查，添加cookie信息来表向服务器表示我们已经登录。

# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup

# 导入所需要的库
import requests

'''
# 使用requests进行一次网页请求，把返回的response信息放在wb_data
url = 'https://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html#ATTRACTION_SORT_WRAPPER'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
# print(soup)

# 标题：根据规则发现
titles = soup.select('div > div > div > div > div.listing_info > div.listing_title > a')

# 图片的规则是宽度为180的打印出来
images = soup.select('img[width="180"]')

# 获取它的分类
cates = soup.select('#taplc_attraction_coverpage_attraction_0 > div > div:nth-child(1) > div > div > div.shelf_item_container > div > div.poi > div > div:nth-child(4)')
# print(titles,images,cates,sep='\n')

# 把获取到的内容放进一个字典中方便做查询
for title, image, cate in zip(titles,images,cates):
    data = {
        'title':title.get_text(),
        'image':image.get('src'),
        'cate':list(cate.stripped_strings)
    }
    print(data)

# 运行代码后发现如下问题：图片链接都是相同的,此处网站设置了反爬机制

'''

headers = {
    'user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    'Cookie': 'ServerPool=X; TAUnique=%1%enc%3A2Zo7PUJFZJV8ERLZcdI%2FWN7QH4IUQBAki1AmAGDdrvM%3D; TASSK=enc%3AADPPdtG6ZnA9qwyDt7c7x6VVzuw8MDv06pP1bNqaQhTxxqgEq5lbifzx%2BTHb9XYPKm3XeKPefhlQ8lpHdx703ONylC2elZ84XU16GQs5JeVg02srpvEaM3a0008gNFAF9Q%3D%3D; VRMCID=%1%V1*id.11879*llp.%2F-m11879-a_supai%5C.986220653-a_supap%5C.1cl2-a_supbc%5C.0-a_supbl%5C.%257BlocalInfo%257D-a_supbt%5C.-a_supci%5C.20350801-a_supkw%5C.541753154-a_suppm%5C.-a_supsc%5C.1*e.1567861924273; _gcl_au=1.1.1257335162.1567257126; _ga=GA1.2.1426689833.1567257126; _gid=GA1.2.848668119.1567257126; TART=%1%enc%3AM9viLRD8DtIk0so%2BNlYcmwVwU8JGltVavhVzlNr%2B16bB8paBDrga7zeiH%2Fahgxj89dQTmgAI0Nc%3D; __gads=ID=ddebbff84c3d2b5c:T=1567257146:S=ALNI_MbOxpuU5Jl0RbRCq9EuAjA3-xKQ5g; CM=%1%PremiumMobSess%2C%2C-1%7Ct4b-pc%2C%2C-1%7CRestAds%2FRPers%2C%2C-1%7CRCPers%2C%2C-1%7CWShadeSeen%2C%2C-1%7CTheForkMCCPers%2C%2C-1%7CHomeASess%2C3%2C-1%7CPremiumSURPers%2C%2C-1%7CPremiumMCSess%2C%2C-1%7CUVOwnersSess%2C%2C-1%7CRestPremRSess%2C%2C-1%7CCCSess%2C%2C-1%7CCYLSess%2C%2C-1%7CPremRetPers%2C%2C-1%7CViatorMCPers%2C%2C-1%7Csesssticker%2C%2C-1%7CPremiumORSess%2C%2C-1%7Ct4b-sc%2C%2C-1%7CRestAdsPers%2C%2C-1%7CMC_IB_UPSELL_IB_LOGOS2%2C%2C-1%7Cb2bmcpers%2C%2C-1%7CRestWiFiPers%2C%2C-1%7CPremMCBtmSess%2C%2C-1%7CPremiumSURSess%2C%2C-1%7CMC_IB_UPSELL_IB_LOGOS%2C%2C-1%7CLaFourchette+Banners%2C%2C-1%7Csess_rev%2C%2C-1%7Csessamex%2C%2C-1%7CPremiumRRSess%2C%2C-1%7CTADORSess%2C%2C-1%7CAdsRetPers%2C%2C-1%7CTARSWBPers%2C%2C-1%7CSPMCSess%2C%2C-1%7CTheForkORSess%2C%2C-1%7CTheForkRRSess%2C%2C-1%7Cpers_rev%2C%2C-1%7CRestWiFiREXPers%2C%2C-1%7CSPMCWBPers%2C%2C-1%7CRBAPers%2C%2C-1%7CRestAds%2FRSess%2C%2C-1%7CHomeAPers%2C%2C-1%7CPremiumMobPers%2C%2C-1%7CRCSess%2C%2C-1%7CWiFiORSess%2C%2C-1%7CLaFourchette+MC+Banners%2C%2C-1%7CRestAdsCCSess%2C%2C-1%7CRestPremRPers%2C%2C-1%7CUVOwnersPers%2C%2C-1%7Csh%2C%2C-1%7Cpssamex%2C%2C-1%7CTheForkMCCSess%2C%2C-1%7CCYLPers%2C%2C-1%7CCCPers%2C%2C-1%7Cb2bmcsess%2C%2C-1%7CRestWiFiSess%2C%2C-1%7CRestWiFiREXSess%2C%2C-1%7CSPMCPers%2C%2C-1%7CPremRetSess%2C%2C-1%7CViatorMCSess%2C%2C-1%7CPremiumMCPers%2C%2C-1%7CAdsRetSess%2C%2C-1%7CPremiumRRPers%2C%2C-1%7CRestAdsCCPers%2C%2C-1%7CTADORPers%2C%2C-1%7CTheForkORPers%2C%2C-1%7CWiFiORPers%2C%2C-1%7CPremMCBtmPers%2C%2C-1%7CTheForkRRPers%2C%2C-1%7CTARSWBSess%2C%2C-1%7CPremiumORPers%2C%2C-1%7CRestAdsSess%2C%2C-1%7CRBASess%2C%2C-1%7CSPORPers%2C%2C-1%7Cperssticker%2C%2C-1%7CSPMCWBSess%2C%2C-1%7C; TATravelInfo=V2*AY.2019*AM.9*AD.8*DY.2019*DM.9*DD.9*A.2*MG.-1*HP.2*FL.3*DSM.1567259311363*RS.1; BEPIN=%1%16ce7ef6e67%3Bweb08c.daodao.com%3A10023%3B; TAAuth3=3%3A7fed4b760d6c1d47d0ab18e1e4c3a3b2%3AAKoZ7chM1eewKKTvLk4mI18tB4rHoxpNxqchQpElxXmuKsWnWVWFbgutYDT7WK8%2F5%2BGHHiCZetcDsly3Ohy0%2BxknUTjc0HRvSzySfaGFjW5iTkNVAy7PMkqceHmtYhJoYpaEWsS9YM16H%2Fnah%2B8yRMgfaJI1LxVxFFSLy3YRV%2F2a6bH8NJRc%2Bv4hGxSrG62Nhg%3D%3D; TAReturnTo=%1%%2FProfile%2FSightseer22091698247; roybatty=TNI1625!AHQRCPsXSxX5gOijycnpg10vY4BhwNABjR38nWXiLRvSsAy7PqBDuauAwhJNvhHR2RaDd1w9ghGqu18ElwtAVbY4enSO318lQBHMgF0fy3BhPCes4LJHNGDrh8lKR%2BppDjarTNNU9WSZs3LfW8o3H7ZRZp4E9zydybN3pZWJHl0Z%2C1; TASession=%1%V2ID.F0FAEAC7C79C367686814CBCA65EBF3D*SQ.131*MC.11879*LR.https%3A%2F%2Fwww%5C.baidu%5C.com%2Fbaidu%5C.php%3Fsc%5C.060000ae5skSL9u_FEQhzeCjpwFROdcwMfpWTjcKO3HOExx_tO5eWBUFbEra3uzJsY80KZDhqFeXelLElbIh7DXS3fNorbQsik_61kWFuW4L4CPMWGa8xW46ci4RciTEPQdMaJE2a1vgOHkIICmw9KpNxo65hEyeEwMsBDs-c1fJXd6nyCuiH-72Ob5MuCl71IQOP9GqQyorHoFhbf%5C.DY_a9nOA1I*LP.%2F%3Fm%3D11879%26supci%3D20350801%26supsc%3D1%26supai%3D986220653%26suppm%3D%26supap%3D1cl2%26supbl%3D%257BlocalInfo%257D%26supbt%3D%26supbc%3D0%26supkw%3D541753154*LS.DemandLoadAjax*PD1.1*GR.56*TCPAR.17*TBR.87*EXEX.77*ABTR.99*PHTB.60*FS.20*CPU.59*HS.recommended*ES.popularity*DS.5*SAS.popularity*FPS.oldFirst*TS.F0D42E55C8BA40499ADDA05EC97B5EF0*LF.zhCN*FA.1*DF.0*FLO.60763*TRA.false*LD.102741; TAUD=LA-1567257124222-1*RDD-1-2019_08_31*HC-2176335*HDD-2199779-2019_09_08.2019_09_09.1*LD-53219470-2019.9.8.2019.9.9*LG-53219472-2.1.F.'
}


url_saves = 'https://www.tripadvisor.cn/Trips/1748237'
wb_data = requests.get(url_saves,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')

titles = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardBody__padded_body--2GGZl > div.trips-trip-view-page-TripSections-common-CardHeader-BaseRow__title_line--ysGYQ > a > div')
images = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardPhoto__card_photo--3M8H7 > a > div')
metas = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardBody__padded_body--2GGZl > a > div.trips-trip-view-page-TripSections-common-ParentName__location_name--3NE7t')


# 进行统一的结构
for title,image,meta in zip(titles,images,metas):
    data = {
        'title': title.get_text(),
        'image':image.get('url'),
        'meta':list(meta.stripped_strings)
    }

    print(data)

输出如下：

{'title': '布鲁克林大桥', 'image': None, 'meta': ['纽约州纽约市']}
{'title': '中央公园', 'image': None, 'meta': ['纽约州纽约市']}
{'title': '曼哈顿天际线', 'image': None, 'meta': ['纽约州纽约市']}

此时遇到的问题：使用copy CSS selector时获取不到image的位置。

问题待解决？

在这里插入图片描述

越是复杂的网页样式就越多，需要多次尝试，有些网站的样式和结构还会定期做变动。

2.3 爬取浏览列表中的30页信息

思路：把之前的获取列表的两个方法定义成函数，直接调用即可；获取信息列表改成每四秒获取一次；发现url的规律是oa(30,60,90)这样刷的

# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup

# 导入所需要的库
import requests
import time

url_saves = 'https://www.tripadvisor.cn/Trips/1748237'
url = 'https://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html#ATTRACTION_SORT_WRAPPER'
urls = ['https://www.tripadvisor.cn/Attractions-g60763-Activities-oa{i}-New_York_City_New_York.html#FILTERED_LIST'.format(str(i)) for i in range(30,930,30)]

headers = {
    'user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    'Cookie': 'ServerPool=X; TAUnique=%1%enc%3A2Zo7PUJFZJV8ERLZcdI%2FWN7QH4IUQBAki1AmAGDdrvM%3D; TASSK=enc%3AADPPdtG6ZnA9qwyDt7c7x6VVzuw8MDv06pP1bNqaQhTxxqgEq5lbifzx%2BTHb9XYPKm3XeKPefhlQ8lpHdx703ONylC2elZ84XU16GQs5JeVg02srpvEaM3a0008gNFAF9Q%3D%3D; VRMCID=%1%V1*id.11879*llp.%2F-m11879-a_supai%5C.986220653-a_supap%5C.1cl2-a_supbc%5C.0-a_supbl%5C.%257BlocalInfo%257D-a_supbt%5C.-a_supci%5C.20350801-a_supkw%5C.541753154-a_suppm%5C.-a_supsc%5C.1*e.1567861924273; _gcl_au=1.1.1257335162.1567257126; _ga=GA1.2.1426689833.1567257126; _gid=GA1.2.848668119.1567257126; TART=%1%enc%3AM9viLRD8DtIk0so%2BNlYcmwVwU8JGltVavhVzlNr%2B16bB8paBDrga7zeiH%2Fahgxj89dQTmgAI0Nc%3D; __gads=ID=ddebbff84c3d2b5c:T=1567257146:S=ALNI_MbOxpuU5Jl0RbRCq9EuAjA3-xKQ5g; CM=%1%PremiumMobSess%2C%2C-1%7Ct4b-pc%2C%2C-1%7CRestAds%2FRPers%2C%2C-1%7CRCPers%2C%2C-1%7CWShadeSeen%2C%2C-1%7CTheForkMCCPers%2C%2C-1%7CHomeASess%2C3%2C-1%7CPremiumSURPers%2C%2C-1%7CPremiumMCSess%2C%2C-1%7CUVOwnersSess%2C%2C-1%7CRestPremRSess%2C%2C-1%7CCCSess%2C%2C-1%7CCYLSess%2C%2C-1%7CPremRetPers%2C%2C-1%7CViatorMCPers%2C%2C-1%7Csesssticker%2C%2C-1%7CPremiumORSess%2C%2C-1%7Ct4b-sc%2C%2C-1%7CRestAdsPers%2C%2C-1%7CMC_IB_UPSELL_IB_LOGOS2%2C%2C-1%7Cb2bmcpers%2C%2C-1%7CRestWiFiPers%2C%2C-1%7CPremMCBtmSess%2C%2C-1%7CPremiumSURSess%2C%2C-1%7CMC_IB_UPSELL_IB_LOGOS%2C%2C-1%7CLaFourchette+Banners%2C%2C-1%7Csess_rev%2C%2C-1%7Csessamex%2C%2C-1%7CPremiumRRSess%2C%2C-1%7CTADORSess%2C%2C-1%7CAdsRetPers%2C%2C-1%7CTARSWBPers%2C%2C-1%7CSPMCSess%2C%2C-1%7CTheForkORSess%2C%2C-1%7CTheForkRRSess%2C%2C-1%7Cpers_rev%2C%2C-1%7CRestWiFiREXPers%2C%2C-1%7CSPMCWBPers%2C%2C-1%7CRBAPers%2C%2C-1%7CRestAds%2FRSess%2C%2C-1%7CHomeAPers%2C%2C-1%7CPremiumMobPers%2C%2C-1%7CRCSess%2C%2C-1%7CWiFiORSess%2C%2C-1%7CLaFourchette+MC+Banners%2C%2C-1%7CRestAdsCCSess%2C%2C-1%7CRestPremRPers%2C%2C-1%7CUVOwnersPers%2C%2C-1%7Csh%2C%2C-1%7Cpssamex%2C%2C-1%7CTheForkMCCSess%2C%2C-1%7CCYLPers%2C%2C-1%7CCCPers%2C%2C-1%7Cb2bmcsess%2C%2C-1%7CRestWiFiSess%2C%2C-1%7CRestWiFiREXSess%2C%2C-1%7CSPMCPers%2C%2C-1%7CPremRetSess%2C%2C-1%7CViatorMCSess%2C%2C-1%7CPremiumMCPers%2C%2C-1%7CAdsRetSess%2C%2C-1%7CPremiumRRPers%2C%2C-1%7CRestAdsCCPers%2C%2C-1%7CTADORPers%2C%2C-1%7CTheForkORPers%2C%2C-1%7CWiFiORPers%2C%2C-1%7CPremMCBtmPers%2C%2C-1%7CTheForkRRPers%2C%2C-1%7CTARSWBSess%2C%2C-1%7CPremiumORPers%2C%2C-1%7CRestAdsSess%2C%2C-1%7CRBASess%2C%2C-1%7CSPORPers%2C%2C-1%7Cperssticker%2C%2C-1%7CSPMCWBSess%2C%2C-1%7C; TATravelInfo=V2*AY.2019*AM.9*AD.8*DY.2019*DM.9*DD.9*A.2*MG.-1*HP.2*FL.3*DSM.1567259311363*RS.1; BEPIN=%1%16ce7ef6e67%3Bweb08c.daodao.com%3A10023%3B; TAAuth3=3%3A7fed4b760d6c1d47d0ab18e1e4c3a3b2%3AAKoZ7chM1eewKKTvLk4mI18tB4rHoxpNxqchQpElxXmuKsWnWVWFbgutYDT7WK8%2F5%2BGHHiCZetcDsly3Ohy0%2BxknUTjc0HRvSzySfaGFjW5iTkNVAy7PMkqceHmtYhJoYpaEWsS9YM16H%2Fnah%2B8yRMgfaJI1LxVxFFSLy3YRV%2F2a6bH8NJRc%2Bv4hGxSrG62Nhg%3D%3D; TAReturnTo=%1%%2FProfile%2FSightseer22091698247; roybatty=TNI1625!AHQRCPsXSxX5gOijycnpg10vY4BhwNABjR38nWXiLRvSsAy7PqBDuauAwhJNvhHR2RaDd1w9ghGqu18ElwtAVbY4enSO318lQBHMgF0fy3BhPCes4LJHNGDrh8lKR%2BppDjarTNNU9WSZs3LfW8o3H7ZRZp4E9zydybN3pZWJHl0Z%2C1; TASession=%1%V2ID.F0FAEAC7C79C367686814CBCA65EBF3D*SQ.131*MC.11879*LR.https%3A%2F%2Fwww%5C.baidu%5C.com%2Fbaidu%5C.php%3Fsc%5C.060000ae5skSL9u_FEQhzeCjpwFROdcwMfpWTjcKO3HOExx_tO5eWBUFbEra3uzJsY80KZDhqFeXelLElbIh7DXS3fNorbQsik_61kWFuW4L4CPMWGa8xW46ci4RciTEPQdMaJE2a1vgOHkIICmw9KpNxo65hEyeEwMsBDs-c1fJXd6nyCuiH-72Ob5MuCl71IQOP9GqQyorHoFhbf%5C.DY_a9nOA1I*LP.%2F%3Fm%3D11879%26supci%3D20350801%26supsc%3D1%26supai%3D986220653%26suppm%3D%26supap%3D1cl2%26supbl%3D%257BlocalInfo%257D%26supbt%3D%26supbc%3D0%26supkw%3D541753154*LS.DemandLoadAjax*PD1.1*GR.56*TCPAR.17*TBR.87*EXEX.77*ABTR.99*PHTB.60*FS.20*CPU.59*HS.recommended*ES.popularity*DS.5*SAS.popularity*FPS.oldFirst*TS.F0D42E55C8BA40499ADDA05EC97B5EF0*LF.zhCN*FA.1*DF.0*FLO.60763*TRA.false*LD.102741; TAUD=LA-1567257124222-1*RDD-1-2019_08_31*HC-2176335*HDD-2199779-2019_09_08.2019_09_09.1*LD-53219470-2019.9.8.2019.9.9*LG-53219472-2.1.F.'
}


# 使用requests进行一次网页请求，把返回的response信息放在wb_data
def get_attractions(url,data=None):
    wb_data = requests.get(url)
    time.sleep(5)
    soup = BeautifulSoup(wb_data.text,'lxml')
    # 标题：根据规则发现
    titles = soup.select('div > div > div > div > div.listing_info > div.listing_title > a')
    # 图片的规则是宽度为180的打印出来
    images = soup.select('img[width="180"]')
    # 获取它的分类
    cates = soup.select('#taplc_attraction_coverpage_attraction_0 > div > div:nth-child(1) > div > div > div.shelf_item_container > div > div.poi > div > div:nth-child(4)')
    # print(titles,images,cates,sep='\n')
    #把获取到的内容放进一个字典中方便做查询
    for title, image, cate in zip(titles,images,cates):
        data = {
            'title':title.get_text(),
            'image':image.get('src'),
            'cate':list(cate.stripped_strings)
        }
        print(data)

# 运行代码后发现如下问题：图片链接都是相同的,此处网站设置了反爬机制


def get_favs(url,data=None):
    wb_data = requests.get(url_saves,headers=headers)
    soup = BeautifulSoup(wb_data.text,'lxml')

    titles = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardBody__padded_body--2GGZl > div.trips-trip-view-page-TripSections-common-CardHeader-BaseRow__title_line--ysGYQ > a > div')
    images = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardPhoto__card_photo--3M8H7 > a > div')
    metas = soup.select('#component_1 > div > div > div > div > div > div > div > div > div.trips-trip-view-page-TripSections-common-CardBody__padded_body--2GGZl > a > div.trips-trip-view-page-TripSections-common-ParentName__location_name--3NE7t')


    # 进行统一的结构
    for title,image,meta in zip(titles,images,metas):
        data = {
            'title': title.get_text(),
            'image':image.get('url'),
            'meta':list(meta.stripped_strings)
        }
        print(data)


for single_url in urls:
    get_attractions(single_url)
zhikanjiani
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
复制真实的网址「Copy Real Url」-crx插件
03-21
提供复制Google搜索，Yahoo搜索，Facebook聊天和环聊中的真实链接而不是重定向网址的选项 在谷歌搜索结果和脸谱网聊天，目前的链接（网址）是重定向的网址。在右键菜单中使用chrome的复制链接地址时，这可能会令人头疼。这个扩展在“复制实际链接”菜单中提供了一个附加选项。当你点击它时，真实链接（url）被复制到剪贴板而不是重定向url。 该扩展也为复制Google图片搜索网址奇迹。你得到的实际干净的源图像的网址，而不是缓存版本（和混淆网址） 示例显示在谷歌搜索截图 使用默认的复制链接地址 https://www.google.co.in/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cad=rja&uact=8&ved=0CCMQFjAB&url=http://en.wikipedia.org/wiki/Led_Zeppelin&ei= DFHnU8_mK4Hi8AXqpIDAAg＆USG = AFQjCNHIjSJNblTZM7fbhcTkrPNp14SnKw＆SIG2 = L95WqCRVToubyMsGNnBFWg＆BVM = bv.72676100，d.dGc 使用复制实际链接 http://en.wikipedia.org/wiki/Led_Zeppelin 类似的Facebook聊天链接， 使用复制链接地址 http://www.facebook.com/l.php?u=http://www.arsenal.com/home&h=iAQF4eyqM 使用复制真正的链接 http://www.arsenal.com/home 对于环聊中的链接， 使用复制链接地址 http://www.google.com/url?q=http://unix.stackexchange.com/&sa=D&sntz=1&usg=AFQjCNFwyzc7PZkkYm499VZUSwaBdofBog 使用复制真正的链接 http://unix.stackexchange.com/ 。 支持语言:English (UK)
利用Python抓取和解析网页（一）
liuxinglanyue的专栏
02-01 392
对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过Python语言提供的各种模块，我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首先，我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块，然后，我们论述如何使用Python...
几个超级牛的在线 Python 解释器
m0_59596937的博客
02-01 3757
安装 Python 很容易，但或许你正在用智能手机/平板电脑，在用不允许安装软件的电脑，或者因为其它原因无法安装 Python。那么，如何通过免安装的方式使用 Python 呢？本文将介绍 18 个免费的 Python 解释器和交互式 Shell（也称为 REPL），你可以从 Web 浏览器中直接访问。下面就是 Python 在线服务网站的列表。
Python网络爬虫实现HTTP请求、解析网页和数据存储（简单静态网页爬取）_python爬虫如何解析网页(1)
最新发布
2401_84557521的博客
05-02 713
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
不容错过！这三个堪称神级的 Python 网站真香啊！
m0_59164304的博客
05-23 1267
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）
python 网址解析代码
weixin_42575505的博客
01-14 112
下面是 Python 代码片段，用于从 URL 中解析出各个部分： from urllib.parse import urlparse url = 'https://www.example.com:8080/path?arg=value#fragment' parsed_url = urlparse(url) print(parsed_url.scheme) # 'https' prin...
爬虫（二）—解析真实网页（猫途鹰）
践理
06-15 3602
爬虫的爬取过程为，从服务器获得网页数据，通过python的相关解析库进行数据的提取分析。过程如下，其中对遇到的问题进行汇总记录解答! 1.服务器与本地的交换机制 客户端向服务器发送请求request，服务器给客户端回应response。 get、post是最常用的http协议的两种。 Created with Raphaël 2.1.2客户端客户端服务器服务器request...
python爬虫（网页解析）
m0_60633107的博客
03-31 2197
学习爬虫，了解相关库BeautifulSoup4、lxml、html5lib等等，还要相对应支持的解析器以及解析方法
Python爬虫：HTML网页解析方法小结
m0_59162248的博客
03-25 5204
学过requests库的看到requests-html的api应该会很熟悉，使用方法基本一致，不同的是使用requests编写爬虫时，要先把网页爬取下来，然后再交给BeautifulSoup等一些html解析库，现在可以直接解析了。（4）requests-html 是比较新的一个库，高度封装且源码清晰，它直接整合了大量解析时繁琐复杂的操作，同时支持DOM解析和XPath解析两种方式，灵活方便，可以尝试。”**在csdn看到过一篇比较好的文章，讲的很实用，大家伙可以移步去看看，链接分享在下方。
python 实现登录网页的操作方法
09-20
Python实现登录网页的功能是网络编程中的常见需求，这通常涉及到HTTP协议、Cookie管理和模拟浏览器行为。以下是对这个话题的详细说明： 1. **HTTP协议与Cookie机制**： - HTTP协议是无状态的，这意味着服务器不会...
python进行爬虫小记
01-15
Selenium是一个强大的自动化测试工具，也可以用于模拟真实用户行为进行动态网页的爬取。通过`webdriver`模块，我们可以控制浏览器进行交互，如`webdriver.Chrome()`启动Chrome浏览器。无头模式可以通过设置`...
Python爬JS加密处理1
08-03
1. **Python实现JS**：通过Python的`js2py`库将JavaScript代码翻译成Python，然后在Python环境中运行和解析。 2. **Selenium+PhantomJS**：利用Selenium模拟浏览器环境，配合PhantomJS无头浏览器，可以执行...
爬虫Demo举例python.rar
02-01
2. 链接解析器（Link Parser）：负责解析网页中的链接，提取出各个链接的目标地址，以便后续进行跳转。 3. 页面解析器（Page Parser）：负责解析网页的HTML代码或其他特定结构的内容，并提取出感兴趣的数据，如文本...
python爬虫BeautifulSoup实战练习
12-20
lxml第三方网页解析库，也可以使用python自带html.parser re正则表达式用于查找提取字符 matplotlib.pyplot用于绘图 numpy用于辅助绘图处理对应数据 中途问题注意：使用CSS选择器选择获取了元素路径，但是带入...
Python 网页解析
Xt_Yj的博客
08-07 1103
lxml是Python的一个第三方库，功能丰富且好用，使用C语言开发，执行效率高，同时支持XPath,用来检索XML和HTML文档内容。
Python爬虫必备！教你如何使用Beautiful Soup解析网页
程序员小麦的博客
06-27 718
如果你是一个Python开发者，你一定会涉及到从网页上提取数据的问题。那么你可能会问：“如何用Python从网页上提取数据？” 解决这个问题的一个好的方法是使用`Beautiful Soup`库。本文将介绍如何使用Beautiful Soup库解析HTML和XML文档，如何使用CSS选择器来查找元素，以及如何从网页上提取数据。
php获取短网址真实网址,PHP 获取短网址跳转后的真实地址的实例
weixin_36382155的博客
04-01 726
你可能所有不知道获取短网址跳转后的真实地址我们可以使用get_headers()函数来实现，下面我一起来看我总结的一些例子。获取到一个短连接，需要将短连接转换成真实的网址，通过查资料，发现 PHP 提供了一个函数 get_headers() ，可以完成这个任务，先把 头部信息获取到，然后再分析跳转地址即可利用get_headers() 函数获取http头php 自带的get_headers()取得...
Python网页爬虫——数据解析方法
qq_44777595的博客
09-24 2163
数据解析原理概述：我们需要解析的是网页中的数据，即从html中解析出想要的数据。如果想要拿到数据，只需要定位到具体的指定的标签之后，就可以将标签中存储的文本或者标签中对应属性值所存储的文本数据获取到。xpath解析不仅可以应用到Python编程语言中，还可以应用到其他编程语言中，是通用性最强的数据解析方式。爬取局部的内容需要在通用爬虫获取的网页数据上，对数据进行解析，主要有三种解析方式：正则、bs4、xpath。Step2：对标签或者标签对应的属性中存储的数据进行提取（解析）抓取的是页面中特定的局部内容。
Python 爬虫：教你四种姿势解析提取数据
tingting11232的博客
08-26 2105
Python 爬虫：教你四种姿势解析提取数据
用Python下载网页视频
09-26
### 回答1： 你可以使用 Python 中的 requests 库来下载网页视频。 首先，你需要安装 requests 库。你可以在命令行中输入以下命令来安装它： ``` pip install requests ``` 然后，你可以使用 requests.get() 函数来下载网页视频。例如： ``` import requests video_url = 'https://example.com/video.mp4' r = requests.get(video_url) with open('video.mp4', 'wb') as f: f.write(r.content) ``` 这样，你就可以使用 Python 下载网页视频了。 注意：请确保你有权限下载该视频，并遵守所有适用的法律法规。 ### 回答2： 使用Python可以通过以下步骤来下载网页视频： 1. 导入必要的库：首先需要导入一些必要的库，如requests、os等。 2. 解析网页：使用requests库发送GET请求来获取网页的内容，并将其存储在一个变量中。 3. 提取视频链接：通过解析网页内容，使用正则表达式或程序库（如BeautifulSoup）来提取视频的链接。一般情况下，视频链接可以在HTML标签（如<video>或<object>标签）的属性中找到。 4. 下载视频：使用requests库发送GET请求来下载视频文件。可以通过将视频链接作为参数传递给requests库中的get()函数来实现。然后，可以将下载的视频保存在本地，例如使用open()函数和write()方法将响应内容写入一个文件。 以下是一个简单的示例代码，用于以Python下载网页视频： ```python import requests import os # 发送GET请求获取网页内容 response = requests.get("http://example.com") # 提取视频链接（示例代码不含提取链接的具体实现） # 下载视频 video_url = "http://example.com/video.mp4" video_file = "video.mp4" response = requests.get(video_url) if response.status_code == 200: with open(video_file, 'wb') as f: f.write(response.content) print("视频下载完成") else: print("视频下载失败") ``` 以上代码仅为示例，真实情况可能需要根据具体网站的页面结构和视频链接的提取方式进行修改。该方法适用于大多数网页视频下载，但对于一些通过特殊方式（如JavaScript生成）加载的视频可能无法正常下载。 ### 回答3： 要用Python下载网页视频非常简单。首先，我们需要使用`requests`库来获取网页的HTML代码。然后，我们可以使用正则表达式或者BeautifulSoup库来从HTML代码中提取视频的URL。 首先，我们需要安装`requests`库和`BeautifulSoup`库。可以使用以下命令在命令行中安装这两个库： ``` pip install requests pip install beautifulsoup4 ``` 接下来，我们可以编写Python代码来下载网页视频。以下是一个简单的示例： ```python import requests from bs4 import BeautifulSoup # 设置目标网页的URL url = "https://www.example.com" # 发送请求，获取网页的HTML代码 response = requests.get(url) html_code = response.text # 使用BeautifulSoup解析HTML代码 soup = BeautifulSoup(html_code, "html.parser") # 查找所有的视频标签，例如<video>、<source>等 video_tags = soup.find_all("video") # 提取每个视频的URL，并下载到本地 for video_tag in video_tags: video_url = video_tag["src"] video_data = requests.get(video_url).content # 保存视频数据到本地文件 with open("video.mp4", "wb") as file: file.write(video_data) ``` 以上代码中，我们首先使用`requests`库发送HTTP请求，获取网页的HTML代码。然后，使用`BeautifulSoup`库解析HTML代码，并查找所有的视频标签。接着，我们提取每个视频的URL，并使用`requests`库下载视频数据。最后，将视频数据保存到一个本地文件中。 请注意，上述示例代码只是一个简单示例，实际应用中可能需要根据具体的网页结构进行适当的调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值