python爬虫基础——获取新浪国内新闻首页标题新闻内容

最新推荐文章于 2024-08-03 15:58:00 发布

zj574406254

最新推荐文章于 2024-08-03 15:58:00 发布

阅读量1.4k

点赞数

分类专栏： python 文章标签： python 新浪新闻爬虫

本文链接：https://blog.csdn.net/zj574406254/article/details/80515321

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

python近几年似乎比较火，近段时间研究了一点基础和爬虫，也是看着视频跟着做的。感觉python确实有很多独特的有点。好了废话不多说了，贴上自己练习写的一点代码，希望能对和我一样的初学者些许帮助吧

from bs4 import BeautifulSoup
import requests
s=input('回车开始获取 -->')
res=requests.get("http://news.sina.com.cn/china/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
alink=soup.select('.news-item')
#print(alink)
#for al in alink:
for index in range(len(alink)):
    al=alink[index]
    if len(al.select('h2'))>0:
        print(str(index+1)+'、'+al.select('h2')[0].select('a')[0].text)
cmd=1
while True:
	cmd=input('输入标题序号看新闻正文,输入0结束 -->')
	if cmd=='0':
		print('程序结束')
		break
	if(not(cmd.isdigit())):
		print('请输入整数！')
		continue
	if(int(cmd)>len(alink)):
		print('输入的索引超过最大值,请重新输入')
		continue
	al=alink[int(cmd)-1]
	contenturl=al.select('h2')[0].select('a')[0].get('href')
	res1=requests.get(contenturl)
	res1.encoding='utf-8'
	soup1=BeautifulSoup(res1.text,'html.parser')
	contents=soup1.select('p')
	for con in contents:
		print(con.text)
#print(alink)
#print(type(res))