![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pig
文章平均质量分 88
zuolixiangfisher
有空一起钓鱼啊
展开
-
pig脚本常见错误
1、ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: String index out of range: 36原因:结尾多了个空格video_read_allnet = LOAD '/user/hdphailiyang/statistics/kyk_close/video_read_allnet/${date}/p*';-- `awk...原创 2019-11-19 09:42:25 · 2122 阅读 · 0 评论 -
hive count group by转pig语法
之前一直写hive,按某个字段分组统计条数用hive写非常简单最近组里开始用pig,pig里的分组统计一直有点模糊,今天看了Stack Overflow上的一篇文章才算弄明白,记录一下。例如数据如下id, term(10, smerter)(10, graviditeten)(10, smerter)(10, smerter)(10, udemrket) (20, eis ...原创 2019-07-19 10:30:06 · 232 阅读 · 0 评论 -
Apache Pig语法简述
Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。它使用Pig Latin编程语言来写脚本,和 Hive 有一些相似之处。这里简单做一下总结1、加载数据A = LOAD 'a.txt' AS (col1:chararray, col2:int, col3:int, col4:int, col5:double, col6:dou...原创 2019-07-20 15:01:08 · 328 阅读 · 0 评论