AWSKinesisDataAnalytics:PyFlinkwithnestedJSONdata
创始人
2024-09-26 01:30:08
0
  1. 首先,需要使用AWS Kinesis Data Analytics以及PyFlink来处理嵌套JSON数据。
  2. 首先,需要使用AWS Kinesis Data Analytics来引导数据流,并预处理数据流输入,示例代码如下:
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (col1 INTEGER, col2 VARCHAR(16), JSON_DATA VARCHAR(MAX));
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"  SELECT  col1, col2, TO_BASE64(TO_JSON(get_json_object(JSON_DATA, '$'))) FROM "SOURCE_SQL_STREAM_001";
  1. 接下来,需要使用PyFlink来对嵌套JSON数据做相关的处理。首先需要安装pyflink和jsonpath_ng库:
pip install apache-flink
pip install jsonpath_ng

4.然后,需要对代码中的嵌套JSON数据进行扁平化处理。这可以通过以下步骤实现:

a) 将嵌套的JSON数据转换为Python对象:

import json
from pyflink.common.serialization import SimpleStringSchema
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import FlinkKinesisProducer
from jsonpath_ng import parse

env = StreamExecutionEnvironment.get_execution_environment()  
source_stream = env.add_source(flink_consumer)

data_stream = source_stream.map(lambda x: json.loads(x)) 

b) 通过jsonpath_ng库筛选原始JSON数据并创建新列:

 parser = parse('$.prop1')
 data_stream = data_stream.map(lambda x: (x, [match.value for match in parser.find(x)]))

c) 将嵌套对象中的所有键/值对移动到单个JSON对象中:

def flatten(data):
    for key, value in data.items():
        if isinstance(value, dict):
            for inner_key, inner_value in flatten(value).items():
                yield key + "." + inner_key, inner_value
        elif isinstance(value, list):
            for remaining in value

相关内容

热门资讯

透视烘培!aa poker辅助... 透视烘培!aa poker辅助,AApoker透视软件总是有工具,八分钟教程(有挂存在)aa pok...
透视总结!wpk辅助哪里买,w... 透视总结!wpk辅助哪里买,wpk控制牌是真的吗(透视)果然有技巧(哔哩哔哩)1、下载好透视辅助下载...
透视策略!德普之星辅助软件,德... 透视策略!德普之星辅助软件,德普之星工具切实存在有插件,第2分钟教程(有挂教学)德普之星辅助软件能透...
一直以来!aapoker透视插... 一直以来!aapoker透视插件,微信小程序微乐破解器2024,揭幕透视(新版有挂)-哔哩哔哩1、首...
透视好友!pokemmo手机脚... 透视好友!pokemmo手机脚本辅助器,微乐贵阳足鸡麻将开挂,科普透视(今日头条)-哔哩哔哩poke...
透视积累!德普之星透视辅助软件... 透视积累!德普之星透视辅助软件下载,德普之星私人局总是是有透视,第3分钟教程(确实有挂)1、玩家可以...
透视手段!wpk辅助哪里买,W... 透视手段!wpk辅助哪里买,WPK有透视一直真的是有工具,7分钟教程(有挂透视)1、玩家可以在wpk...
这一现象值得深思!xpoker... 这一现象值得深思!xpoker辅助器,微乐自建房辅助软件功能,总结脚本(有挂解惑)-哔哩哔哩xpok...
透视绝活!wepoker软件辅... 透视绝活!wepoker软件辅助程序,WePoKer透视果然真的是有工具,8分钟教程(有挂秘诀)1、...
今日!wepoker好友房开挂... 今日!wepoker好友房开挂,微乐春天扑克开挂辅助插件,开挂脚本(有挂存在)-哔哩哔哩1、上手简单...