Nifi ExecuteScript用法(2):采用Python修改Flowfile属性

在上一篇文章对Nifi与ExecuteScript进行了简单的介绍,已经提供了关于如何用Python对Flowfile内容进行修改的案例。

接下来将介绍如何在ExecuteScript中采用Python来修改Flowfile的属性。

案例:采用Python来修改Flowfile属性

以下案例会采用GenerateFlowFile处理器生成一个Flowfile,该Flowfile有一个Age属性,初始值为26, 之后会采用ExecuteScript读取该Age属性,并对其加1,然后再更新到Flowfile的Age属性。并且会增加多一个Gender的属性进行输出。

拓扑图:

GenerateFlowFile设置:

添加了Age属性,初始值为26

ExecuteScript处理器设置:

ScriptBody为:

import json
import sys
import traceback
from java.nio.charset import StandardCharsets
from org.apache.commons.io import IOUtils
from org.apache.nifi.processor.io import StreamCallback
from org.python.core.util import StringUtil
from datetime import datetime

flowFile = session.get()
if flowFile != None:
    try:
        #Get the attribute from Flowfile
        Age = flowFile.getAttribute("Age")
        Age = int(Age) + 1
        flowFile = session.putAttribute(flowFile, "Age", str(Age))
        #Add a new attribute
        flowFile = session.putAttribute(flowFile, "Gender", "Male")
        session.transfer(flowFile, REL_SUCCESS)

    except Exception as e:
        # Catch the exception and set it as an attribute
        session.putAttribute(flowFile, "error", 'An error occurred, due to ' + str(e))
        session.transfer(flowFile, REL_FAILURE)

输出结果:

一开始Flowfile的属性为:

经过ExcuteScript之后可以观察到Age变为了27并且添加了属性Gender,其值为Male

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NiFi中使用ExecuteScript执行Python脚本获取数据库连接,执行SQL,可以按照以下步骤进行操作: 1. 在NiFi中创建一个ExecuteScript处理器,并选择要执行的脚本语言Python。 2. 编写Python脚本,获取数据库连接,执行SQL并返回结果。以下是一个简单的示例: ```python from org.apache.nifi.processor.io import StreamCallback from org.apache.nifi.processor.util import StandardCharsets from org.apache.nifi.processor import * from java.io import BufferedReader, InputStreamReader import java.sql class PyStreamCallback(StreamCallback): def __init__(self): pass def process(self, inputStream, outputStream): connection = java.sql.DriverManager.getConnection('jdbc:mysql://localhost:3306/test', 'username', 'password') statement = connection.createStatement() resultSet = statement.executeQuery('SELECT * FROM table') while resultSet.next(): value = resultSet.getString('column_name') outputStream.write(bytearray(value, StandardCharsets.UTF_8)) flowFile = session.get() if flowFile != None: flowFile = session.write(flowFile, PyStreamCallback()) session.transfer(flowFile, REL_SUCCESS) ``` 在这个脚本中,我们首先导入了需要使用的Java类,包括StreamCallback、StandardCharsets、Processor等。然后定义了一个名为PyStreamCallback的类,继承自StreamCallback,用于处理输入流和输出流。 在process方法中,我们使用Java的JDBC API获取数据库连接,执行SQL语句,并将结果输出到输出流中。最后,我们使用NiFi的API将处理后的流传输到下一个处理器。 3. 配置ExecuteScript处理器的属性,包括Python解释器路径、脚本文件路径等。 4. 运行NiFi流程,执行Python脚本获取数据库连接,执行SQL并返回结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值