爬虫第四次打卡

腾讯新闻热点爬取

1.了解ajax加载
2.通过chrome的开发者工具，监控网络请求，并分析
3.用selenium完成爬虫
4.具体流程如下：

用selenium爬取https://news.qq.com/ 的热点精选

热点精选至少爬50个出来，存储成csv。

import time
from  selenium import webdriver
driver=webdriver.Chrome(executable_path="D:\chromedriver\chromedriver.exe")
driver.get("https://news.qq.com")
#了解ajax加载
for i in range(1,100):
    time.sleep(2)
    driver.execute_script("window.scrollTo(window.scrollX, %d);"%(i*200))

from bs4 import BeautifulSoup
html=driver.page_source
bsObj=BeautifulSoup(html,"lxml")

jxtits=bsObj.find_all("div",{"class":"jx-tit"})[0].find_next_sibling().find_all("li")

print("index",",","title",",","url")
for i,jxtit in enumerate(jxtits):
#     print(jxtit)
    
    try:
        text=jxtit.find_all("img")[0]["alt"]
    except:
        text=jxtit.find_all("div",{"class":"lazyload-placeholder"})[0].text
    try:
        url=jxtit.find_all("a")[0]["href"]
    except:
        print(jxtit)
    print(i+1,",",text,",",url) 

理解Ajax加载
1.Ajax(Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）)是一种用于创建快速动态网页的技术

2.是与服务器交换数据并跟新部分网页，在不重新加载整个页面的情况下对网页的某部分进行更新

3.核心是XMLHttpRequest对象，可以通过XHR对象获取到服务器数据，再通过DOM将数据插入到页面中去呈现。

注：对于瀑布流式网页，拉动滚动条，页面数据增加，url不变。
传统的网页(即不用ajax技术的网页)，想要更新内容或者提交一个表单，都需要重新加载整个网页。

使用ajax技术的网页，通过在后台服务器进行少量的数据交换，就可以实现异步局部更新。
使用Ajax，用户可以创建接近本地桌面应用的直接、高可用、更丰富、更动态的Web用户界面。
利用AJAX可以做：

注册时，输入用户名自动检测用户是否已经存在。
登陆时，提示用户名密码错误。
删除数据行时，将行ID发送到后台，后台在数据库中删除，数据库删除成功后，在页面DOM中将数据行也删除。