python 实现一个简单的网页爬虫程序

最近在学习python，以下为网页爬虫代码，供参考

1、爬取指定网页的标题和所有的连接

2、并将这些信息保存到一个文件中。

前置：因使用到网页相关的功能，故需导入requests、BeautifulSoup 库来完成

#导入网页相关的库

import requests

from bs4 import BeautifulSoup

#定义一个函数get_page()

def get_page(url):

        response = requests.get(url)        # 发送HTTP的get请求

        # 解析响应内容为HTML（此处使用*.content，否则使用*.text有乱码)

        soup = BeautifulSoup(response.content, 'html.parser')  

  

        # 获取链接的文本内容，即标题

        # *.title代表HTML文档中<title>标签，*.string属于则用于获取该标签内的直接文本内容

        title = soup.title.string      

        links = soup.find_all('a')              # 找到所有的<a>标签，即链接  

        

        # 打开文件用于保存
        with open('results.txt', 'w', encoding='utf-8') as file:

                file.write(f"网页标题:{title}")             # 保存标题到文件

                # 遍历所有连接
                for link in links:       

                        # 获取链接的href属性，即URL;  # 保存链接到文件

                        file.write("\n\nURL:")

                        file.write(link.get('href'))
 
# 使用方法
get_page('https://mail.163.com')

3、远行后，可在“results.txt”文件查看到网页标题及URL

特别注意python的格式要求较高