python爬虫学习爬取股票数据

1.首先要导入几个模块

import requests
import pandas as pd
import re
import time
import random
from sqlalchemy import create_engine

2.要想爬取一个网页之前要先了解这个网页的源代码，按F12进入开发者工具，得到如下界面：

找到要爬取的网页的真实页面，可以看到要爬取的数据就在里面。点开Headers可以看到Request URL，所以这个网址就是要爬取的数据的网址。同时pn也代表页数，所以如果想要获取多页的数据，可以写一个for循环。

3.下面就开始进行数据的爬取。

#构造请求头，这里在爬虫中添加字典类型的请求头headers的目的是为了将python伪装成一个真实的浏览器，进而促使被访问的网站将python当作一个正常的访问用户。代码如下

headers={
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': '