#coding:utf8 #使用Requests访问http://seputu.com/,获取并打印HTML文档内容 import requests user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent':user_agent} r = requests.get('http://seputu.com/', headers=headers) print r.text #分析网页的HTML结构: #标题和章节都被包含在<div class="mulu">标记下,标记位于其中的<div class="mulu-title">下的<h2>中, #章节位于其中的<div class="box">下的<a>中 from bs4 import BeautifulSoup soup = BeautifulSoup(r.text,'html.parser',from_encoding='utf-8') for mulu in soup.find_all(class_="mulu"): h2 = mulu.find('h2') if h2 != None: h2_title = h2.string #获取标题 for a in mulu.find(
数据存储(无数据库版)之一:存储为JSON
最新推荐文章于 2024-07-22 16:16:18 发布
本文介绍了如何使用Python的Requests库获取网页HTML内容,BeautifulSoup解析网页结构,提取标题和章节信息。然后讲解了Python的JSON模块,包括如何编码Python对象为JSON字符串,以及如何将JSON数据写入文件。最后,文章展示了如何将爬取的标题和章节信息存储为JSON格式,并写入文件。
摘要由CSDN通过智能技术生成