爬虫 东方财富网股票数据

于 2024-09-05 08:41:26 发布
阅读量54 收藏
点赞数
文章标签： 爬虫 前端 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangzhaoyuxunlei/article/details/141916087
版权 
"""
获取到每一页的请求地址
f12->网络->全部->
https://97.push2.eastmoney.com/api/qt/clist/get?pn=1&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048
pn: pagenum 页码
fs 必填参数，每次请求都一样
"""

# 1. 分析数据所在请求地址与请求参数
# 2. 导入模块
# from urllib import request
# import json
#
# # 6. 打开文件 写入信息
# with open("公司信息.txt", "w") as f:
# 	# 5. 获取指定页码中的所有公司
# 	for i in range(1, 11):
# 		print(f"当前正在采集第{i}页公司信息")
# 		# 3. 发起请求 获取数据
# 		res = request.urlopen(f"https://97.push2.eastmoney.com/api/qt/clist/get?pn={i}&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1725257972755")
# 		content = res.read().decode()
# 		# 4. 解析数据 提取 股票信息
# 		datas = json.loads(content)
# 		for data in datas['data']['diff']:
# 			# 7. 解析指定字段
# 			f.write(f"{data['f14']}, {data['f15']}, {data['f16']} \n")


# 字典中的三个属性  每个属性之间使用逗号隔开， 属性键与值之间使用冒号隔开
# student = {
# 	"id": 1001,
# 	"name": "马云",
# 	"address": "杭州"
# }

# print(student["f3"])


# company = {
# 	"f1": 2,
# 	"f2": 2.09,
# 	"f3": 10.0,
# 	"f4": 0.19,
# 	"f5": 1450545,
# 	"f6": 296406971.6,
# 	"f7": 8.95,
# 	"f8": 3.19,
# 	"f9": -14.14,
# 	"f10": 6.09,
# 	"f11": 0.0,
# 	"f12": "000627",
# 	"f13": 0,
# 	"f14": "天茂集团",
# 	"f15": 2.09,
# 	"f16": 1.92,
# 	"f17": 1.96,
# 	"f18": 1.9,
# 	"f20": 10325914955,
# 	"f21": 9514733705,
# 	"f22": 0.0,
# 	"f23": 0.5,
# 	"f24": 6.09,
# 	"f25": -26.41,
# 	"f62": 48229449.0,
# 	"f115": -12.45,
# 	"f128": "-",
# 	"f140": "-",
# 	"f141": "-",
# 	"f136": "-",
# 	"f152": 2
# }
#
# print(company["f14"], company["f12"], company["f13"], )


# 列表中存储字母
# datas = ["A", "B", "C", "D", "E", "F"]
#
# for data in datas:
# 	print(data)


datas = [
	{"id": 101, "name": "马云", "age": 18},
	{"id": 102, "name": "马化腾", "age": 20},
	{"id": 103, "name": "马加爵", "age": 25}
]

for data in datas:
	print(data['name'])


# datas = [
# 	{
# 		"f1": 2,
# 		"f2": 18.04,
# 		"f3": 10.0,
# 		"f4": 1.64,
# 		"f5": 315463,
# 		"f6": 560407540.0,
# 		"f7": 9.63,
# 		"f8": 6.74,
# 		"f9": 49.55,
# 		"f10": 5.32,
# 		"f11": 0.0,
# 		"f12": "600645",
# 		"f13": 1,
# 		"f14": "中源协和",
# 		"f15": 18.04,
# 		"f16": 16.46,
# 		"f17": 16.5,
# 		"f18": 16.4,
# 		"f20": 8441797976,
# 		"f21": 8438573777,
# 		"f22": 0.0,
# 		"f23": 2.34,
# 		"f24": 7.89,
# 		"f25": -11.0,
# 		"f62": 113623798.0,
# 		"f115": 77.47,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 7.37,
# 		"f3": 10.0,
# 		"f4": 0.67,
# 		"f5": 80644,
# 		"f6": 58954858.31,
# 		"f7": 5.22,
# 		"f8": 1.78,
# 		"f9": 12.48,
# 		"f10": 3.34,
# 		"f11": 0.0,
# 		"f12": "002950",
# 		"f13": 0,
# 		"f14": "奥美医疗",
# 		"f15": 7.37,
# 		"f16": 7.02,
# 		"f17": 7.2,
# 		"f18": 6.7,
# 		"f20": 4667166050,
# 		"f21": 3331204690,
# 		"f22": 0.0,
# 		"f23": 1.43,
# 		"f24": -1.47,
# 		"f25": -22.01,
# 		"f62": 28908566.0,
# 		"f115": 33.25,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 2.09,
# 		"f3": 10.0,
# 		"f4": 0.19,
# 		"f5": 1450545,
# 		"f6": 296406971.6,
# 		"f7": 8.95,
# 		"f8": 3.19,
# 		"f9": -14.14,
# 		"f10": 6.09,
# 		"f11": 0.0,
# 		"f12": "000627",
# 		"f13": 0,
# 		"f14": "天茂集团",
# 		"f15": 2.09,
# 		"f16": 1.92,
# 		"f17": 1.96,
# 		"f18": 1.9,
# 		"f20": 10325914955,
# 		"f21": 9514733705,
# 		"f22": 0.0,
# 		"f23": 0.5,
# 		"f24": 6.09,
# 		"f25": -26.41,
# 		"f62": 48229449.0,
# 		"f115": -12.45,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 28.38,
# 		"f3": 10.0,
# 		"f4": 2.58,
# 		"f5": 1161065,
# 		"f6": 3261187898.25,
# 		"f7": 4.65,
# 		"f8": 11.12,
# 		"f9": 84.06,
# 		"f10": 1.07,
# 		"f11": 0.0,
# 		"f12": "000062",
# 		"f13": 0,
# 		"f14": "深圳华强",
# 		"f15": 28.38,
# 		"f16": 27.18,
# 		"f17": 28.0,
# 		"f18": 25.8,
# 		"f20": 29682906558,
# 		"f21": 29640649987,
# 		"f22": 0.0,
# 		"f23": 4.16,
# 		"f24": 218.16,
# 		"f25": 156.37,
# 		"f62": -504678016.0,
# 		"f115": 78.7,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 10.57,
# 		"f3": 9.99,
# 		"f4": 0.96,
# 		"f5": 45269,
# 		"f6": 47849333.0,
# 		"f7": 0.0,
# 		"f8": 1.97,
# 		"f9": 24.35,
# 		"f10": 1.33,
# 		"f11": 0.0,
# 		"f12": "603787",
# 		"f13": 1,
# 		"f14": "新日股份",
# 		"f15": 10.57,
# 		"f16": 10.57,
# 		"f17": 10.57,
# 		"f18": 9.61,
# 		"f20": 2432619860,
# 		"f21": 2432619860,
# 		"f22": 0.0,
# 		"f23": 1.56,
# 		"f24": 0.86,
# 		"f25": -14.48,
# 		"f62": 12583585.0,
# 		"f115": 26.68,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 9.03,
# 		"f3": 9.99,
# 		"f4": 0.82,
# 		"f5": 49315,
# 		"f6": 44531337.0,
# 		"f7": 0.0,
# 		"f8": 0.89,
# 		"f9": -15.59,
# 		"f10": 0.11,
# 		"f11": 0.0,
# 		"f12": "603626",
# 		"f13": 1,
# 		"f14": "科森科技",
# 		"f15": 9.03,
# 		"f16": 9.03,
# 		"f17": 9.03,
# 		"f18": 8.21,
# 		"f20": 5010563601,
# 		"f21": 5010563601,
# 		"f22": 0.0,
# 		"f23": 1.95,
# 		"f24": 67.84,
# 		"f25": 0.78,
# 		"f62": 24138146.0,
# 		"f115": -13.44,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 8.81,
# 		"f3": 9.99,
# 		"f4": 0.8,
# 		"f5": 174787,
# 		"f6": 151219031.0,
# 		"f7": 10.99,
# 		"f8": 10.58,
# 		"f9": -32.51,
# 		"f10": 5.2,
# 		"f11": 0.0,
# 		"f12": "603810",
# 		"f13": 1,
# 		"f14": "丰山集团",
# 		"f15": 8.81,
# 		"f16": 7.93,
# 		"f17": 8.02,
# 		"f18": 8.01,
# 		"f20": 1455804433,
# 		"f21": 1455804433,
# 		"f22": 0.0,
# 		"f23": 0.99,
# 		"f24": 0.0,
# 		"f25": -34.11,
# 		"f62": 30654616.0,
# 		"f115": -18.45,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 11.13,
# 		"f3": 9.98,
# 		"f4": 1.01,
# 		"f5": 351483,
# 		"f6": 383068493.33,
# 		"f7": 8.3,
# 		"f8": 23.16,
# 		"f9": 452.96,
# 		"f10": 3.51,
# 		"f11": 0.0,
# 		"f12": "002806",
# 		"f13": 0,
# 		"f14": "华锋股份",
# 		"f15": 11.13,
# 		"f16": 10.29,
# 		"f17": 10.39,
# 		"f18": 10.12,
# 		"f20": 2116424627,
# 		"f21": 1689329197,
# 		"f22": 0.0,
# 		"f23": 2.54,
# 		"f24": 48.01,
# 		"f25": -18.64,
# 		"f62": 40331405.0,
# 		"f115": -7.22,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 5.29,
# 		"f3": 9.98,
# 		"f4": 0.48,
# 		"f5": 630815,
# 		"f6": 328041130.3,
# 		"f7": 6.03,
# 		"f8": 11.39,
# 		"f9": -17.97,
# 		"f10": 4.13,
# 		"f11": 0.0,
# 		"f12": "002514",
# 		"f13": 0,
# 		"f14": "宝馨科技",
# 		"f15": 5.29,
# 		"f16": 5.0,
# 		"f17": 5.2,
# 		"f18": 4.81,
# 		"f20": 3808981257,
# 		"f21": 2930841257,
# 		"f22": 0.0,
# 		"f23": 4.52,
# 		"f24": 16.52,
# 		"f25": -39.75,
# 		"f62": -7493496.0,
# 		"f115": -12.53,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 5.18,
# 		"f3": 9.98,
# 		"f4": 0.47,
# 		"f5": 267564,
# 		"f6": 132986349.12,
# 		"f7": 10.83,
# 		"f8": 7.96,
# 		"f9": 168.3,
# 		"f10": 2.41,
# 		"f11": 0.0,
# 		"f12": "002691",
# 		"f13": 0,
# 		"f14": "冀凯股份",
# 		"f15": 5.18,
# 		"f16": 4.67,
# 		"f17": 4.72,
# 		"f18": 4.71,
# 		"f20": 1761200000,
# 		"f21": 1740377980,
# 		"f22": 0.0,
# 		"f23": 1.96,
# 		"f24": 13.1,
# 		"f25": -30.84,
# 		"f62": 14481257.0,
# 		"f115": 82.73,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 18.52,
# 		"f3": 9.98,
# 		"f4": 1.68,
# 		"f5": 97557,
# 		"f6": 176055728.0,
# 		"f7": 9.74,
# 		"f8": 4.58,
# 		"f9": 102.05,
# 		"f10": 1.5,
# 		"f11": 0.0,
# 		"f12": "605218",
# 		"f13": 1,
# 		"f14": "伟时电子",
# 		"f15": 18.52,
# 		"f16": 16.88,
# 		"f17": 16.9,
# 		"f18": 16.84,
# 		"f20": 3941675679,
# 		"f21": 3941675679,
# 		"f22": 0.0,
# 		"f23": 3.12,
# 		"f24": 12.24,
# 		"f25": -28.85,
# 		"f62": 80758311.0,
# 		"f115": 39.1,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 18.3,
# 		"f3": 9.98,
# 		"f4": 1.66,
# 		"f5": 191102,
# 		"f6": 346624160.0,
# 		"f7": 4.69,
# 		"f8": 32.46,
# 		"f9": 30.07,
# 		"f10": 7.78,
# 		"f11": 0.0,
# 		"f12": "603004",
# 		"f13": 1,
# 		"f14": "鼎龙科技",
# 		"f15": 18.3,
# 		"f16": 17.52,
# 		"f17": 18.3,
# 		"f18": 16.64,
# 		"f20": 4310016000,
# 		"f21": 1077504000,
# 		"f22": 0.0,
# 		"f23": 2.27,
# 		"f24": 0.99,
# 		"f25": -48.85,
# 		"f62": 62591631.0,
# 		"f115": 27.24,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 8.27,
# 		"f3": 9.97,
# 		"f4": 0.75,
# 		"f5": 103835,
# 		"f6": 83135183.0,
# 		"f7": 12.63,
# 		"f8": 4.4,
# 		"f9": -35.66,
# 		"f10": 1.26,
# 		"f11": 0.0,
# 		"f12": "603196",
# 		"f13": 1,
# 		"f14": "日播时尚",
# 		"f15": 8.27,
# 		"f16": 7.32,
# 		"f17": 7.35,
# 		"f18": 7.52,
# 		"f20": 1960017390,
# 		"f21": 1953219450,
# 		"f22": 0.0,
# 		"f23": 2.56,
# 		"f24": 6.3,
# 		"f25": -38.7,
# 		"f62": 26281451.0,
# 		"f115": -125.22,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 3.42,
# 		"f3": 9.97,
# 		"f4": 0.31,
# 		"f5": 251168,
# 		"f6": 83339106.0,
# 		"f7": 10.29,
# 		"f8": 5.72,
# 		"f9": -54.24,
# 		"f10": 3.03,
# 		"f11": 0.0,
# 		"f12": "600243",
# 		"f13": 1,
# 		"f14": "青海华鼎",
# 		"f15": 3.42,
# 		"f16": 3.1,
# 		"f17": 3.1,
# 		"f18": 3.11,
# 		"f20": 1500867000,
# 		"f21": 1500867000,
# 		"f22": 0.0,
# 		"f23": 2.1,
# 		"f24": 22.58,
# 		"f25": -28.3,
# 		"f62": 25805756.0,
# 		"f115": -9.81,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 2.65,
# 		"f3": 9.96,
# 		"f4": 0.24,
# 		"f5": 166651,
# 		"f6": 42795472.0,
# 		"f7": 11.62,
# 		"f8": 5.79,
# 		"f9": -74.69,
# 		"f10": 1.16,
# 		"f11": 0.0,
# 		"f12": "000820",
# 		"f13": 0,
# 		"f14": "神雾节能",
# 		"f15": 2.65,
# 		"f16": 2.37,
# 		"f17": 2.41,
# 		"f18": 2.41,
# 		"f20": 1688699838,
# 		"f21": 762290838,
# 		"f22": 0.0,
# 		"f23": 22.15,
# 		"f24": 15.72,
# 		"f25": -32.57,
# 		"f62": 19880954.0,
# 		"f115": -129.01,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 3.87,
# 		"f3": 9.94,
# 		"f4": 0.35,
# 		"f5": 454250,
# 		"f6": 175109375.55,
# 		"f7": 3.98,
# 		"f8": 5.07,
# 		"f9": -41.5,
# 		"f10": 5.23,
# 		"f11": 0.0,
# 		"f12": "000859",
# 		"f13": 0,
# 		"f14": "国风新材",
# 		"f15": 3.87,
# 		"f16": 3.73,
# 		"f17": 3.87,
# 		"f18": 3.52,
# 		"f20": 3467428169,
# 		"f21": 3466955061,
# 		"f22": 0.0,
# 		"f23": 1.23,
# 		"f24": 12.5,
# 		"f25": -27.12,
# 		"f62": 8613529.0,
# 		"f115": -48.39,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 4.88,
# 		"f3": 9.91,
# 		"f4": 0.44,
# 		"f5": 81469,
# 		"f6": 39756721.0,
# 		"f7": 0.0,
# 		"f8": 0.44,
# 		"f9": 197.2,
# 		"f10": 0.69,
# 		"f11": 0.0,
# 		"f12": "600550",
# 		"f13": 1,
# 		"f14": "保变电气",
# 		"f15": 4.88,
# 		"f16": 4.88,
# 		"f17": 4.88,
# 		"f18": 4.44,
# 		"f20": 8986658982,
# 		"f21": 8986658982,
# 		"f22": 0.0,
# 		"f23": 17.0,
# 		"f24": 7.73,
# 		"f25": 0.0,
# 		"f62": 21148509.0,
# 		"f115": -62.64,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 1.13,
# 		"f3": 9.71,
# 		"f4": 0.1,
# 		"f5": 3054747,
# 		"f6": 335932157.75,
# 		"f7": 10.68,
# 		"f8": 20.84,
# 		"f9": -3.67,
# 		"f10": 2.2,
# 		"f11": 0.0,
# 		"f12": "002717",
# 		"f13": 0,
# 		"f14": "岭南股份",
# 		"f15": 1.13,
# 		"f16": 1.02,
# 		"f17": 1.02,
# 		"f18": 1.03,
# 		"f20": 1904230075,
# 		"f21": 1656251063,
# 		"f22": 0.0,
# 		"f23": 0.99,
# 		"f24": 5.61,
# 		"f25": -65.02,
# 		"f62": 45076527.0,
# 		"f115": -1.53,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 8.3,
# 		"f3": 9.35,
# 		"f4": 0.71,
# 		"f5": 45976,
# 		"f6": 37856404.33,
# 		"f7": 16.47,
# 		"f8": 10.31,
# 		"f9": 29.08,
# 		"f10": 5.58,
# 		"f11": 0.0,
# 		"f12": "430685",
# 		"f13": 0,
# 		"f14": "新芝生物",
# 		"f15": 8.69,
# 		"f16": 7.44,
# 		"f17": 7.44,
# 		"f18": 7.59,
# 		"f20": 759582310,
# 		"f21": 370050860,
# 		"f22": -0.48,
# 		"f23": 1.49,
# 		"f24": 8.36,
# 		"f25": -38.56,
# 		"f62": 4622747.0,
# 		"f115": 17.72,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}, {
# 		"f1": 2,
# 		"f2": 20.59,
# 		"f3": 9.35,
# 		"f4": 1.76,
# 		"f5": 84646,
# 		"f6": 173573343.14,
# 		"f7": 16.57,
# 		"f8": 8.98,
# 		"f9": -50.0,
# 		"f10": 2.58,
# 		"f11": -0.05,
# 		"f12": "301049",
# 		"f13": 0,
# 		"f14": "超越科技",
# 		"f15": 22.18,
# 		"f16": 19.06,
# 		"f17": 19.37,
# 		"f18": 18.83,
# 		"f20": 1940676147,
# 		"f21": 1940676147,
# 		"f22": 0.0,
# 		"f23": 2.65,
# 		"f24": 9.23,
# 		"f25": -11.1,
# 		"f62": 5492985.0,
# 		"f115": -18.13,
# 		"f128": "-",
# 		"f140": "-",
# 		"f141": "-",
# 		"f136": "-",
# 		"f152": 2
# 	}]
#
# for data in datas:
# 	print(data['f12'], data['f14'])

码农NoError
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
爬虫：爬东方财富网股票数据
weixin_54187787的博客
10-20 2502
1.页面分析 此次我们获取数据的网站是东方财富网！首先我们按F12打开开发者模式，对name里面的网页进行观察，找到数据存在的网页，发现数据是以jQuery加载进网页的，每次加载20个数据，如图： 至此我们找到了单页网页的数据及地址，接下来我们继续打开第二页，找到每页之间的关系，整理后我们发现第一页的pn值等于1，第二页的pn值等于2： 所以我们构建URL时，只需用for循环让params参数中的pn值变为可变动的值，那么这样的话我们都可以对里面的每一页发起请求进而获...
东方财富网股票数据爬虫
热门推荐
qy20115549的博客
12-23 1万+
所要爬的数据描述如下图所示，所要爬的第一个数据是每个股票每日均线对应的MA5，MA10,M20,M30的数据。 其次，需要爬取股票每日的BOLL的数据，包括BOLLUP,BOLLMB,BOLLDN 再者，爬取的数据有每个股票对应的开盘，最高，最低，收盘等数据。 main程序package navi.main; /** * @author:合肥工业大学 管理学院 钱洋 * @email:15
爬虫：东方财富网股票数据爬取
Cyber的博客
07-26 1万+
前言 因为东方财富网的Js限制，第一页很好爬取，但是第二页开始的网页地址并没有改变，看了下xpath页面元素也和第一页没什么区别，所以只好曲线救国，用selenium找到“下一页”按钮进行跳转再爬取，好处是肯定都能爬到，坏处则是必须一直开着chromedriver，而且爬取效率并不高。 代码 from selenium import webdriver from time import sleep import mysql.connector as mysql '''爬取上证指数的所有股票信息，保存到本地
爬虫：东方财富网数据爬取
Deepstudyy的博客
10-16 2209
1、首先构造一个函数download_all_htmls（）爬取网页信息 通过request函数根据路径获取网页信息，获得请求网页权限（可通过反爬虫机制来获取），构造空列表htmls来填入网页所对应的字符内容。 2、调用download_all_htmls函数获取网页内容 3、解析html所获得的相应数据 定义一个函数parse_single_html（html）：用beautifulsoup初始化对象，通过目录路径找到目标总体items。读取items里所有的目标内容，通过正则表达式找到对应的目标
python如何爬虫股票数据_简单爬虫：东方财富网股票数据爬取(python_017)
weixin_39714528的博客
11-22 1883
需求：将东方财富网行情中心的股票数据爬取下来，包括上证指数、深圳指数、上证A股、深圳A股、新股、中小板、创业板 等一、目标站点分析东方财富网的行情中心页面包含了所有股票信息。在左侧的菜单栏中包含了沪深个股、沪深指数等所有股票数据。每个板块的股票数据被隐藏在不同的菜单里。点击“沪深个股”按钮，对应的股票数据就被查询出来了。上方的选项卡中包含了不同板块的板块：沪深A股、上证A股、深证A股、新股、中小板...
爬虫实战 | 爬取东方财富网股票数据
cainiao_python的博客
04-17 1万+
今天有个朋友说，他想做个关于股票的可视化网页，但是缺乏股票的数据，想让志斌帮他做个爬虫来每天获取数据。所以我将它写成一个实战案例，供大家一起参考学习！1.页面分析此次我们获取数据的网站是东...
python爬虫东方财富网_Python爬虫入门：以东方财富网为例
weixin_39935571的博客
02-21 1862
网络爬虫(Web Spider)，根据网页地址爬取网页内容，从而获取各类数据，实现多种多样的功能。下面就以爬取东方财富网的数据为例，谈谈最简单的爬虫的实现。爬虫的核心有三个：请求、解析、存储。环境配置Python安装使用Anaconda包，包里已经包含了必须的requests模块请求html页面import requestsurl = 'http://www.eastmoney.com/'req ...
简单爬虫：东方财富网股票数据爬取(20231230)
weixin_54500866的博客
12-31 3403
可以看到返回的文件中，data后为null，因此，在每个板块循环爬取时，只要碰到页码的返回文件中data的内容为null时，则停止爬取当前板块。同时由于返回文件中，data后的内容是以null变量的形式展示的，我们需要定义一个变量null，否则会出现报错NameError: name 'null' is not defined。查看网页源代码发现并没有目标数据，因此需要对网页进行抓包分析，查看哪个文件里包含目标数据，打开开发者模式（F12），找到目标文件。首先查看url，获取沪京深A股的第一页数据。
爬虫案例 --东方财富网股票
几许的博客
04-01 946
东 方 财 富 网 爬虫
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储
07-29
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储，很有参考借鉴意义
东方财富网股票数据爬虫.py
04-11
爬取东方财富网的股票数据并进行分析
东方财富网股吧爬虫.zip
03-01
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
获取东方财富股票的详细信息（python爬虫）
06-22
本教程将专注于使用Python爬虫获取东方财富网的股票详细信息。东方财富网是中国知名的财经资讯平台，提供了丰富的股票数据，包括实时行情、历史数据、公司公告等。 首先，我们需要了解的基本概念是网络爬虫。网络...
如何提升网站的收录率？
m0_75172622的博客
09-04 147
当一个网站的页面每日被大量谷歌蜘蛛抓取时，网站页面的收录概率将会大幅提高，从而提升网站的整体权重和流量，而且24小时就能看见效果"GPC爬虫池正是为此而生的。要提升网站的收录率，其中一个特别有效的工具就是GPC爬虫池，这个工具通过深度研究谷歌SEO算法，吸引谷歌爬虫。对于新网站而言，除了要做好内容建设和外链之外，快速获得谷歌青睐的一个简单方法就是提高谷歌蜘蛛对网站的抓取频率。GPC爬虫池的基本原理是构建一个庞大的站群系统，并创建复杂的内链和外链结构，以吸引并留住谷歌蜘蛛。
【爬虫软件】小红薯评论区采集工具
最新发布
python布道者0516的博客
09-04 300
您好！我利用Python技术自主研发了一款高效的爬虫软件，批量收集小红薯平台上的评论，包括主评论及其下的二级评论。为了拓宽用户群体，让不具备编程基础的小白用户也能轻松上手，我开发成了界面软件。无需繁琐的Python环境搭建与代码修改，只需简单双击，即可开启采集之旅！
在BrowserStack上进行自动化爬虫测试的终极指南
ip16yun的博客
09-04 606
随着互联网的快速发展，数据变得越来越宝贵，爬虫技术已成为从网页中提取信息的重要工具。然而，在不同的环境中测试和运行爬虫脚本可能会带来挑战。尤其是在多浏览器、多平台的环境中确保爬虫的稳定性和兼容性是一个令人头疼的问题。BrowserStack，一个领先的跨浏览器测试平台，为解决这一问题提供了强大的工具和服务。本指南将带你深入了解如何在BrowserStack上进行自动化爬虫测试，并展示如何结合代理IP技术，提升爬虫的隐蔽性和成功率。
python网络爬虫（三）——爬虫攻防
图像学习之旅
08-31 783
至此，很多读者会认为修改User-Agent很简单，但是正常人1秒钟看一张图，而爬虫1秒钟可以抓取好多张图，比如1秒钟抓取上百张图，那么服务器的牙利必然会增大。其原理也很简单，就是统计每个IP的访问频率，该频率超过阈值就会返回一个验证码，如果真的是用户在进行访问，用户就会填写验证码，然后继续访问，如果是代码在进行访问，就会被封掉IP。爬虫是模拟人的浏览访问行为，进行数据的批量抓取，当抓取的数据量逐渐增大时，会给被访问的服务器造成很大的压力，甚至有可能崩溃。
001.Python爬虫系列_网络基础
weixin_50296259的博客
08-30 578
原因：同一个IP地址可能对应多个不同的站点。单靠IP地址无法确定是哪个网站。计算机之间通讯，即使我们使用的是域名，但是最终还是通过IP地址。在测试时，会出现通过域名可以访问网站，但是通过IP地址不能访问。
python 爬虫东方财富网融资融券数据
09-17
你可以通过Python爬虫来获取东方财富网的融资融券数据。根据提供的引用内容，你可以按照以下步骤进行操作： 1. 首先，你需要使用Python的requests库发送HTTP请求，获取股票列表页面的源代码。你可以使用requests库的get方法，并提供目标网页的URL。 2. 使用正则表达式或者BeautifulSoup库来解析股票列表的源代码，获取股票的名称和代码。你可以使用re库进行正则匹配，或者使用BeautifulSoup库来解析HTML结构。 3. 遍历股票列表，针对每个股票生成融资融券数据的URL。根据提供的引用内容，你可以使用股票代码作为参数，拼接出相应的URL。 4. 使用requests库的get方法发送HTTP请求，获取融资融券数据的JSON格式数据。根据提供的引用内容，你可以直接使用对应URL进行请求，并通过response.json()方法获取JSON数据。 5. 解析融资融券数据的JSON数据，提取出涨跌幅、融资余额和融资融券余额等所需的信息。根据提供的引用内容，你可以根据JSON数据的结构，使用相应的键值对来获取数据。 6. 进行适当的错误处理，例如判断是否有融资融券数据、判断数据是否完整等。 综上所述，你可以使用Python爬虫来获取东方财富网的融资融券数据。请参考以上步骤来实现你的爬虫程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农NoError

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值