AWSKinesisDataAnalytics:PyFlinkwithnestedJSONdata
创始人
2024-09-26 01:30:08
0
  1. 首先,需要使用AWS Kinesis Data Analytics以及PyFlink来处理嵌套JSON数据。
  2. 首先,需要使用AWS Kinesis Data Analytics来引导数据流,并预处理数据流输入,示例代码如下:
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (col1 INTEGER, col2 VARCHAR(16), JSON_DATA VARCHAR(MAX));
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"  SELECT  col1, col2, TO_BASE64(TO_JSON(get_json_object(JSON_DATA, '$'))) FROM "SOURCE_SQL_STREAM_001";
  1. 接下来,需要使用PyFlink来对嵌套JSON数据做相关的处理。首先需要安装pyflink和jsonpath_ng库:
pip install apache-flink
pip install jsonpath_ng

4.然后,需要对代码中的嵌套JSON数据进行扁平化处理。这可以通过以下步骤实现:

a) 将嵌套的JSON数据转换为Python对象:

import json
from pyflink.common.serialization import SimpleStringSchema
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import FlinkKinesisProducer
from jsonpath_ng import parse

env = StreamExecutionEnvironment.get_execution_environment()  
source_stream = env.add_source(flink_consumer)

data_stream = source_stream.map(lambda x: json.loads(x)) 

b) 通过jsonpath_ng库筛选原始JSON数据并创建新列:

 parser = parse('$.prop1')
 data_stream = data_stream.map(lambda x: (x, [match.value for match in parser.find(x)]))

c) 将嵌套对象中的所有键/值对移动到单个JSON对象中:

def flatten(data):
    for key, value in data.items():
        if isinstance(value, dict):
            for inner_key, inner_value in flatten(value).items():
                yield key + "." + inner_key, inner_value
        elif isinstance(value, list):
            for remaining in value

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...