python网络爬虫（三）

一、使用pandas整理数据
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

提供高效能、简易使用的资料格式（Data Frame）让使用者可以快速操作及分析资料。

使用pandas整理数据

import pandas
df = pandas.DataFrame(news_total)
print(df.head(5))

运行结果：

二、保存数据到数据库

1.将数据转换为excel表格:

df.to_excel('news.xlsx')

运行结果：

2.将数据保存至sqlite

import sqlite3
with sqlite3.connect('news.sqlite') as db:
    df.to_sql('newsl',con = db)

上面的代码链接到news.sqlite数据库，并将数据保存至数据库中

3.将数据从数据库中取出

import sqlite3
with sqlite3.connect('news.sqlite') as db:
    df2 = pandas.read_sql_query('select * from newsl',con = db)
print(df2)

运行结果：