机器学习
Edward-liang
If you really want to do something, there'll be a way. If you don't, there'll be an excuse.
展开
-
Spark-SQL
Spark-SQL 1.直接通过脚本执行 注意指定使用的资源情况。 spark-sql –executor-cores 1 –executor-memory 2g 2.采用Beeline工具执行(mr用户) beeline -u jdbc:hive2://localhost:18000 -n mr HiveQL官方语法文档 https://cwiki.apach原创 2018-01-05 10:51:19 · 411 阅读 · 0 评论 -
整理一些用Pandas进行数据预处理的操作
读入数据 读入部分列,自动处理千分位符 column_num = [x for x in range(13,35)] df = pd.read_csv('???.csv',encoding='gbk',thousands=',',usecols=column_num) 删除空值行 针对部分列 df = df.dropna(axis=0, how='any',subset=[A','B...原创 2018-08-28 09:46:11 · 2823 阅读 · 0 评论