为mooc网站的北京理工大学的 嵩天 、黄天羽 、礼欣 三位老师的课程笔记。
欢迎starGITHUB可下载源码
9. Python计算生态概览
从数据处理到人工智能;实例15:霍兰德人格分析雷达图;从Web解析到网络空间;从人机交互到艺术设计;实例16:玫瑰花绘制;
9.1 从数据处理到人工智能
数据表示(采用合适方式用程序表达数据)-数据清洗(数据归一化、数据转换、异常值处理)-数据统计(数据的概要理解、数量、分布、中位数等)-数据可视化(直观展示数据内涵的方式)-数据挖掘(从数据分析获得知识,生产数据外的价值)-人工智能(数据/语言/图像/视觉等方面深度分析与决策);
9.1.1 Python库数据分析
- Numpy:表达N维数组的最基础库;Python接口,C语言实现,计算速度优异;数据分析和科学计算的基础库,支撑Pandas等;提供直接的矩阵运算、广播函数、线性代数等;
- Pandas:Python数据分析高层次应用库;提供简单易用的数据结构和数据分析工具;理解数据类型与索引的关系,操作索引即操作数据;基于Numpy开发;Series=索引+一维数据;DataFrame=行列索引+二维数据;
- SciPy:数学、科学和工程计算功能库;提供了一批数学算法及工程数据运算功能;类似Matlab,可用于如傅里叶变换、信号处理等应用;科学计算,基于Numpy开发;
9.1.2 数据可视化
- Matplotlib:高质量的二维数据可视化功能库;提供了超过100种数据可视化展示效果;通过matplotlib.pyplot子库调用各可视化效果;基于Numpy开发;
- Seaborn:统计类数据可视化功能库;提供了一批高层次的统计类数据可视化展示效果;主要展示数据间分布、分类和线性关系等内容;基于Matplotlib开发,支持Numpy和Pandas;
- Mayavi:三维科学数据可视化功能库;提供了一批简单易用的3D科学计算数据可视化展示效果;支持Numpy、TVTK、Traits、Envisage等第三方库;
9.1.3 文本处理
- PyPDF2:处理PDF文件的工具箱;支持获取信息、分隔/整合文件、加密解密等;不需要额外依赖;
- NLTK:自然语言文本处理第三方库;简单易用的自然语言处理功能;支持语言文本分类、标记、语法句法、语义分析等;优秀语言处理库;
- Python-docx:创建或更新Microsoft Word文件的第三方库;提供创建或更新.doc、.docx等文件的计算功能;增加并配置段落、图片、表格、文字等;
9.1.4 机器学习
- Scikit-learn:机器学习方法工具集;提供一批统一化的机器学习方法功能接口;提供聚类、分类、回归、强化学习等计算功能;优秀机器学习库;
- TensorFlow:AlphaGo背后的机器学习计算框架;谷歌公司推动的开源机器学习框架;将数据流图作为基础,图节点代表运算,边代表张量;应用机器学习方法的一种方式,支撑谷歌人工智能应用;
- MXNet:基于神经网络的深度学习计算框架;提供可扩展的神经网络及深度学习计算功能;可用于自动驾驶、机器翻译、语音识别等众多领域;
9.2 实例15:霍兰德人格分析雷达图
雷达图是多特性直观展示的重要方式;
霍兰德认为:人格兴趣与职业之间应有一种内在的对应关系;
人格分类:研究型、艺术型、社会型、企业型、传统型、现实型;
职业:工程师、实验员、艺术家、推销员、记事员、社会工作者;
需求:雷达图方式验证霍兰德人格分析;
输入:各职业人群结合兴趣的调研数据;
输出:雷达图;
通用雷达图绘制:matplotlib库;专业的多维数据表示:numpy库;
9.2.1 实例展示
#HollandRadarDraw.py
import numpy as np #引入第三方库
import matplotlib.pyplot as plt
import matplotlib
#数据
matplotlib.rcParams['font.family'] = 'SimHei'
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)','企业型(E)','常规型(C)','现实型(R)'])
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
[0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
[0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
[0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
[0.20