pig中python的使用

最新推荐文章于 2023-05-16 21:58:52 发布

zhangbaoming815

最新推荐文章于 2023-05-16 21:58:52 发布

阅读量301

点赞数

分类专栏： hadoop 文章标签： python pig中python的使用 python使用 python编写 python例子

本文链接：https://blog.csdn.net/zhangbaoming815/article/details/84251699

版权

hadoop 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

Writing Python UDFs

1.write python script:

@outputSchema("word:chararray")
def helloworld():  
  return 'Hello, World'

@outputSchema("word:chararray,num:long")
def complex(word):
  return str(word),len(word)

@outputSchemaFunction("squareSchema")
def square(num):
  return ((num)*(num))

@schemaFunction("squareSchema")
def squareSchema(input):
  return input

# No decorator - bytearray
def concat(str):
  return str+str

2.register python script as myFcuns:

3.use the python script:

python_records =foreach records generate myFuncs.helloworld(),myFuncs.square(4),myFuncs.complex('data');

4.check data:

dump python_records;

5.analyse:

outputSchema – 定义一种 pig 能解析的自定义函数模式

outputFunctionSchema – 定义可传入参数的函数，根据用户传入的参数觉得返回的值，这个需要函数能接受泛型参数

schemaFunction – 这种函数不会在 pig 中注册

6. 实际应用，使用 square 函数：

python_records =foreach records generate name,myFuncs.square(age),sex;