- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pandas task06
一、 2002 年-2018 年上海机动车拍照拍卖问题(1) 哪一次拍卖的中标率首次小于 5%？(2) 按年统计拍卖最低价的下列统计量：最大值、均值、 0.75 分位数，要求显示在同一张表上。(3) 将第一列时间列拆分成两个列，一列为年份（格式为 20××），另一列为月份（英语缩写），添加到列表作为第一第二列，并将原表第一列删除，其他列依次向后顺延。(4) 现在将表格行索引设为多级...
2020-05-01 21:50:03
208
原创 pandas task05
合并import numpy as npimport pandas as pddf = pd.read_csv('datalab/61658/table.csv')df.head()一、append与assign1.append方法#1. append方法#（a）利用序列添加行（必须指定name）df_append = df.loc[:3,['Gender','Height']...
2020-04-30 18:37:18
367
原创 pandas task04
一、透视表1.pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：df.pivot(index='ID',columns='Gender',values='Height').head()2.pivot_table3.crosstab（交叉表）二、其它变形方法1.me...
2020-04-28 21:43:24
246
原创 Datewhale爬虫学习——Task4
1、任务目标（1）了解ajax加载（2）通过chrome的开发者工具，监控网络请求，并分析（3）用selenium完成爬虫（4）任务： 用selenium爬取https://news.qq.com/ 的热点精选（5）目标：热点精选至少爬50个出来，存储成csv 每一行如下 标号（从1开始）,标题,链接,…2、爬取腾讯新闻的热点精选import timefrom selenium ...
2020-04-27 19:49:06
197
原创 pandas task03
一、groupby函数1. groupby分组函数的基本内容单/多列分组经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用。grouped_single = df.groupby('School')print(grouped_single)print(grouped_single.get_group('S_1').head(...
2020-04-25 21:24:12
240
原创 Datewhale爬虫学习——Task3
静态网页静态网页就是 html 页面，后缀为 .html 的这种文件，直接部署到或者是放到某个 web 容器上，就可以在浏览器通过链接直接访问到了，常用的 web 容器有 Nginx 、 Apache 、 Tomcat 、Weblogic 、 Jboss 、 Resin 等等.这种网页的内容是通过纯粹的 HTML 代码来书写，包括一些资源文件：图片、视频等内容的引入都是使用 HTML 标签来完...
2020-04-25 21:18:02
205
原创 pandas task02
一、单级索引loc方法、iloc方法、[]操作符一般而言，最常用的索引方法就是这三类iloc表示位置索引（i表示index）loc表示标签索引[]也具有很大的便利性未完待续。。。。。。二、多级索引三、索引设定...
2020-04-23 20:17:23
179
原创 Datewhale爬虫学习——Task2
Xpath常用的路径表达式：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML文档是被作为节点树来对待的。XPath使用路径表达式在XML文档中选取节点。节点是通过沿着路径选取的。下面列出了最常用的路径表达式：nodenam...
2020-04-23 20:04:17
204
原创 Datewhale爬虫学习——Task1
爬虫的基础：Chrome的开发者模式为用户提供了下面几组工具。Elements：允许用户从浏览器的角度来观察网页，用户可以借此看到Chrome渲染页面所需要的HTML、CSS和DOM（Document Object Model）对象。Network：可以看到网页向服务气请求了哪些资源、资源的大小以及加载资源的相关信息。此外，还可以查看HTTP的请求头、返回内容等。Source：...
2020-04-21 19:34:59
256
原创 pandas task01
pandas基础一、文件的读取与写入文件读取：pandas.read_文件格式，eg：pandas.read_csv(’/data.csv’)文件写入：pandas.to_文件格式，eg:pandas.to_csv(‘data/new_table.csv’)#读取df = pd.read_csv('work/table.csv')df.head()#默认查看前五行，想看n行的话就在括号...
2020-04-20 21:48:45
190
原创 Task4建模调参
学习目标了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程内容介绍线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用...
2020-04-01 21:22:01
200
原创 天池二手车交易价格预测Task3-特征工程
特征工程目标对于特征进行进一步分析，并对于数据进行处理完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡。常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式： log(1+x...
2020-03-28 16:26:26
473
原创 天池二手车交易价格预测Task2-赛题理解与数据探索性分析（EDA）
一、赛题理解1.1赛题概述赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。通过这道赛题来引导大家走进 AI 数...
2020-03-24 21:04:39
2096
原创 cs231n-knn实现图像分类
**cs231n-knn实现图像分类（assignment1）（http://cs231n.github.io/assignments2018/assignment1/）**一、构建模型代码如下，将此文件保存为knn.pyimport numpy as npclass KNearestNeighbor: def __init__(self): pass ...
2019-12-19 16:04:33
510
原创 贪心算法实现0-1背包问题（python3.6版）
贪心算法解决0-1背包问题——python版贪心算法，是寻找最优解问题的常用方法，这种方法模式一般将求解过程分成若干个步骤，但每个步骤都应用贪心原则，选取当前状态下最好的或最优的选择（局部最有利的选择），并以此希望最后堆叠出的结果也是最好或最优的解。贪婪法的每次决策都以当前情况为基础并根据某个最优原则进行选择，不从整体上考虑其他各种可能的情况。背包问题本次例子为0-1背包问题：有 N 件物品...
2019-10-18 13:42:02
8764
原创 第三方库安装脚本
#BatchInstall.pyimport oslibs = {"numpy","matplotlib","pillow","sklearn","requests","jieba", "beautifulsoup4","wheel","networkx","sympy","pyi
2019-03-06 16:34:58
609
原创 政府工作报告词云
1.读取文件，分词整理2.设置并输出词云3.观察结果，优化迭代安装wordcloud库，用pip install wordcloud命令安装，下载好需要分析的文件并保存为utf-8编码.txt格式代码如下：import jiebaimport wordcloudf = open("新时代中国特色社会主义.txt","r",encoding="utf-8")t = f.read()...
2019-03-05 16:01:56
1154
原创 自动轨迹绘制
1.定义数据文件格式2.编写程序，根据文件接口解析参数绘制图形3.编制数据文件本例子数据定义：300（向前行进距离）1（转向判断0：左转1：右转）144（转向角度）0（R）1（G）0（B）代码如下：import turtle as tt.title("自动轨迹绘制")t.setup(800,600,0,0)t.pencolor("red")t.pensize(5)#数据读取d...
2019-03-05 15:46:03
823
原创 三国演义人物出场次数统计
统计中文词频需要用到python中的jieba库，用cmd模式下的pip installer jieba命令安装好jieba库，下载好三国演义的文档并保存。注意，三国演义文档要保存为以下编码，否则出现错误。（用的python3.6 64位）代码如下：#CalThreeKingdoms.pyimport jiebatxt = open(“threekingdoms.txt”,‘r+’,enc...
2019-03-03 14:27:47
12544
10
原创 统计hamlet中出现词频最高的10个单词
先下载好hamlet的英文版本，用python统计书中出现次数最高的单词代码如下：def getText(): #处理特殊字符，把文章单词全部变成小写txt = open(“Hamlet.txt”,“r”).read()txt = txt.lower()for ch in ‘!"#$%&()*+,-./:;<=>?@[\]^_‘{|}~’:txt .
2019-03-02 21:36:05
5956
2
原创 基本统计值计算问题
1：获得用户输入数据2：使用函数分隔功能3：充分使用python提供的内置函数代码如下：def getNum(): #获取用户不定长度的输入nums = []iNumStr = input(“请输入数字（回车退出）:”)while iNumStr != “”:nums.append(eval(iNumStr))iNumStr = input(“请输入数字（回车退出）:”)...
2019-03-02 21:19:52
1169
原创 用python绘制7段数码管
用turtle绘图体系绘制7段数码管：1：绘制单个数字对应的数码管2：获得一串数字，绘制对应的数码管3：获得当前系统时间，绘制对应的数码管代码如下：结果如下：...
2019-02-28 19:15:13
1264
原创 科赫雪花小包裹
高大上的分形几何科赫曲线：递归思想：函数+分支递归链条：线段的组合递归基例：初识线段#KochDrawV1.pyimport turtledef koch(size,n):#基例的部分if n==0:turtle.fd(size)else: #链条部分for angle in [0,60,-120,60]:turtle.left(angle)ko...
2019-02-28 17:31:17
458
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人