Apache NiFi:通过比较多行具有不同数据的方式创建新列
创始人
2024-09-04 13:31:05
0

要通过比较多行具有不同数据的方式创建新列,可以使用Apache NiFi中的EvaluateJsonPath处理器和ExecuteScript处理器。下面是一个使用Python脚本的解决方法示例:

  1. 配置EvaluateJsonPath处理器:

    • 将EvaluateJsonPath处理器添加到NiFi流程中。
    • 配置JsonPath表达式来提取需要比较的数据字段,并使用属性名称存储提取的值。例如,可以使用$.data.field1$.data.field2分别提取两个字段的值。
    • 将提取的值存储在属性中,以便在后续步骤中使用。
  2. 配置ExecuteScript处理器:

    • 将ExecuteScript处理器添加到NiFi流程中,并将其连接到EvaluateJsonPath处理器。
    • 配置Script Engine为Python。
    • 编写以下Python脚本来进行比较并创建新列:
import json

flowFile = session.get()
if flowFile is not None:
    try:
        # 获取EvaluateJsonPath处理器中提取的属性值
        field1 = flowFile.getAttribute('field1')
        field2 = flowFile.getAttribute('field2')
        
        # 比较字段值并创建新列
        if field1 == field2:
            new_column = 'same'
        else:
            new_column = 'different'
        
        # 将新列添加到JSON数据中
        json_data = json.loads(flowFile.getAttribute('json'))
        json_data['new_column'] = new_column
        
        # 将更新后的JSON数据写回流文件
        flowFile = session.putAttribute(flowFile, 'json', json.dumps(json_data))
        
        session.transfer(flowFile, REL_SUCCESS)
    except Exception as e:
        # 处理异常情况
        log.error(str(e))
        session.transfer(flowFile, REL_FAILURE)
  1. 配置连接:
    • 将ExecuteScript处理器连接到下一个处理器(例如PutFile)以便将结果写入文件或其他目标。
    • 配置连接的成功和失败关系。

这样,当流文件通过流程时,EvaluateJsonPath处理器将提取的字段值存储在属性中,然后ExecuteScript处理器将使用Python脚本进行比较并创建新列,并将更新后的JSON数据写回流文件。最后,流文件将传输到下一个处理器进行进一步处理或写入目标。

相关内容

热门资讯

记者揭秘!智星菠萝辅助(透视辅... 记者揭秘!智星菠萝辅助(透视辅助)拱趴大菠萝辅助神器,扑克教程(有挂细节);模式供您选择,了解更新找...
一分钟揭秘!约局吧能能开挂(透... 一分钟揭秘!约局吧能能开挂(透视辅助)hhpoker辅助靠谱,2024新版教程(有挂教学);约局吧能...
透视辅助!wepoker模拟器... 透视辅助!wepoker模拟器哪个好用(脚本)hhpoker辅助挂是真的,科技教程(有挂技巧);囊括...
透视代打!hhpkoer辅助器... 透视代打!hhpkoer辅助器视频(辅助挂)pokemmo脚本辅助,2024新版教程(有挂教程);风...
透视了解!约局吧德州真的有透视... 透视了解!约局吧德州真的有透视挂(透视脚本)德州局HHpoker透视脚本,必胜教程(有挂分析);亲,...
六分钟了解!wepoker挂底... 六分钟了解!wepoker挂底牌(透视)德普之星开辅助,详细教程(有挂解密);德普之星开辅助是一种具...
9分钟了解!wpk私人辅助(透... 9分钟了解!wpk私人辅助(透视)hhpoker德州透视,插件教程(有挂教学);风靡全球的特色经典游...
推荐一款!wepoker究竟有... 推荐一款!wepoker究竟有透视(脚本)哈糖大菠萝开挂,介绍教程(有挂技术);囊括全国各种wepo...
每日必备!wepoker有人用... 每日必备!wepoker有人用过(脚本)wpk有那种辅助,线上教程(有挂规律);wepoker有人用...
玩家必备教程!wejoker私... 玩家必备教程!wejoker私人辅助软件(脚本)哈糖大菠萝可以开挂,可靠技巧(有挂神器)申哈糖大菠萝...