Pig
文章平均质量分 88
zuolixiangfisher
有空一起钓鱼啊
展开
-
pig脚本常见错误
1、ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: String index out of range: 36 原因:结尾多了个空格 video_read_allnet = LOAD '/user/hdphailiyang/statistics/kyk_close/video_read_allnet/${date}/p*'; -- `awk...原创 2019-11-19 09:42:25 · 2141 阅读 · 0 评论 -
hive count group by转pig语法
之前一直写hive,按某个字段分组统计条数用hive写非常简单 最近组里开始用pig,pig里的分组统计一直有点模糊,今天看了Stack Overflow上的一篇文章才算弄明白,记录一下。 例如数据如下 id, term (10, smerter) (10, graviditeten) (10, smerter) (10, smerter) (10, udemrket) (20, eis ...原创 2019-07-19 10:30:06 · 247 阅读 · 0 评论 -
Apache Pig语法简述
Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。 它使用Pig Latin编程语言来写脚本,和 Hive 有一些相似之处。这里简单做一下总结 1、加载数据 A = LOAD 'a.txt' AS (col1:chararray, col2:int, col3:int, col4:int, col5:double, col6:dou...原创 2019-07-20 15:01:08 · 369 阅读 · 0 评论