- 博客(20)
- 收藏
- 关注
RSS订阅原创 python 学习语法之pandas添加行
pandas打开csv文件，添加一行没有直接插入行的方法，只能将csv文件上下分割，然后拼接创建一个DataFrame准备插入csvdata中第2行与第3行之间，将csvdata分割为上下两段，利用append方法或者concat将它们拼接起来，注意参数ignore_index=True，新加的索引会重新排列，不设置为True则不会重新排列。first.append(insertR
2017-08-25 17:16:55
29850
1
转载 python学习语法
python学习语法之 np.asarraynumpy.asarray(a,dtype=None,order=None)将输入数据（列表的列表，元组的元组，元组的列表等）转换为矩阵形式a:数组形式的输入数据，包括list,元组的list，元组，元组的元组，元组的list和ndarraysdtype:数据类型由输入数据推导例子将列表转化为数组
2017-04-06 20:30:53
606
转载 python学习语法
python学习语法 之zip()zip函数接受任意多个（包括0个和1个）序列作为参数，返回一个tuple列表1.示例1：x = [1, 2, 3]y = [4, 5, 6]z = [7, 8, 9]xyz = zip(x, y, z)print xyz运行的结果是：[(1, 4, 7), (2, 5, 8), (3, 6, 9)]
2017-04-06 17:19:11
230
转载 python学习语法
python学习语法之 numpy1.Numpy是什么很简单，Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。其实，list已经提供了类似于矩阵的表示形式，不过numpy为我们提供了更多的函数。如果接触过matlab、scilab，那么numpy很好入手。 在以下的代码示例中，总是先导入了numpy：（通用做法im
2017-04-06 16:49:12
396
转载 python学习语法
python学习语法之time.strftimePython time strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数format决定。语法strftime()方法语法：time.strftime(format[, t])参数format -- 格式字符串。t -- 可选的参数t是一个struct_time对象。
2017-04-06 16:19:25
207
转载 python学习语法
python学习语法之 time.mktimePython time mktime() 函数执行与gmtime(), localtime()相反的操作，它接收struct_time对象作为参数，返回用秒数来表示时间的浮点数。如果输入的值不是一个合法的时间，将触发 OverflowError 或 ValueError。语法mktime()方法语法：time.mktim
2017-04-06 16:05:48
268
转载 python学习语法
python学习语法之 time.strptimePython time strptime() 函数根据指定的格式把一个时间字符串解析为时间元组。具体语法如下:time.strptime(string[, format])参数string -- 时间字符串。format -- 格式化字符串。返回值 返回struct_time对象。
2017-04-06 15:41:42
159
转载 python学习语法
python学习语法之range和xrangerange()返回的是一个递增或递减的数字列表xrange是一个类,返回的是一个xrange对象先来看如下示例：?1234567891011121314151617
2017-04-06 14:32:05
185
转载 python学习语法
python学习语法之 pickle.loadpython的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。持久性的基本思想很简单。假定有一个 Python 程序，它可能是一个管理日常待办事项的程序，您希望在多次执行这
2017-04-06 11:27:48
157
转载 python学习语法
python学习语法之format()自python2.6开始，新增了一种格式化字符串的函数str.format()，可谓威力十足。那么，他跟之前的%型格式化字符串相比，有什么优越的存在呢？让我们来揭开它羞答答的面纱。语法它通过{}和:来代替%。“映射”示例通过位置?123456
2017-04-06 10:44:10
201
转载 python学习语法
python学习语法之format()自python2.6开始，新增了一种格式化字符串的函数str.format()，可谓威力十足。那么，他跟之前的%型格式化字符串相比，有什么优越的存在呢？让我们来揭开它羞答答的面纱。语法它通过{}和:来代替%。“映射”示例通过位置?123456
2017-04-06 10:39:20
271
转载 python 学习语法
python学习之 os.path.join作用是拼接路径eg. os.path.join("home", "zkf", "File")在linux 上会返回"home/zkf/File"在windows上会返回"home\zkf\File"
2017-04-06 10:26:55
173
原创 python写map,reduce访问集群文件
python写map,reduce访问集群文件在/home/zkf/File/python/test-PythoninHadoop目录下写mapper.py和reducer.pymapper.py#!/usr/bin/env python#coding:utf-8import sys for line in sys.stdin: # 遍历读入数据的
2017-04-05 22:01:30
269
原创 不同linux电脑(集群节点)上文件的拷贝
不同linux电脑上文件的拷贝从hadoop@datanode3上拷文件到lu@datanode1上:在lu@datanode1上输入命令: scp -r hadoop@datanode3:~/zkf/taxi/perdata/taxiareaResult/01~/zkf/taxi2016/InOut[从lu@datanode1登陆到hadoop@datanode3上的命令为: s
2017-04-05 13:55:36
6642
转载 在linux系统上查看本机ip地址
在linux系统上查看本机ip地址输入命令: curl ifconfig.me或 wget -qO- ifconfig.me/ip
2017-04-05 09:41:39
15903
原创 pig中嵌入python遇到的问题
将写好的python嵌入pig总出现问题,有影射问题,如relation和scalar影射不正确,还有就是从python输出时用了outputschame,但是执行的时候总显示没有命名@outputschame,找了好多资料,才发现原来是我的pig的jython-standalone.jar中没有outputSchema这个类,后来换了pig的版本,发现问题就解决了.
2017-03-28 10:35:12
458
原创 在pig中嵌入python程序
在pig中嵌入python程序python程序如下,保存在/home/zkf/File/Pig/untitled0.pyimport sysfor line in sys.stdin: (c,n,s) = line.split() if int(s) >= 60: print "%s\t%s\t%s"%(c,n,s)pi
2017-03-23 10:04:38
858
原创 ubuntu上安装某些软件时出现的Reading package lists...Error问题
ubuntu上安装某些软件时出现的Reading package lists...Error问题在ubuntu上安装某些软件时会出现Reading package lists...Error等问题,其中下面问题中的红色部分可能会不一样,但是解决方法都相同.有些人是在安装python包时出现的问题,我是在集群的从属服务器上安装unrar时出现了这个问题,用下面绿色的两条命令解决了这一问题
2017-03-22 20:41:52
1519
原创 出租车数据处理过程
出租车数据处理过程1.先根据经纬度将数据放在不同的网格中(python处理" InitDataArea1h.py")2.有区域的数据在pig中处理,得到分组后的数据(在"dealdata.pig"中处理)3.处理后的数据放在进行网格求和,得到每一网格中的进出车辆(python处理, " InoutArea.py")
2017-03-22 16:30:44
8427
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人