AWSKinesisDataAnalytics:PyFlinkwithnestedJSONdata
创始人
2024-09-26 01:30:08
0
  1. 首先,需要使用AWS Kinesis Data Analytics以及PyFlink来处理嵌套JSON数据。
  2. 首先,需要使用AWS Kinesis Data Analytics来引导数据流,并预处理数据流输入,示例代码如下:
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (col1 INTEGER, col2 VARCHAR(16), JSON_DATA VARCHAR(MAX));
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"  SELECT  col1, col2, TO_BASE64(TO_JSON(get_json_object(JSON_DATA, '$'))) FROM "SOURCE_SQL_STREAM_001";
  1. 接下来,需要使用PyFlink来对嵌套JSON数据做相关的处理。首先需要安装pyflink和jsonpath_ng库:
pip install apache-flink
pip install jsonpath_ng

4.然后,需要对代码中的嵌套JSON数据进行扁平化处理。这可以通过以下步骤实现:

a) 将嵌套的JSON数据转换为Python对象:

import json
from pyflink.common.serialization import SimpleStringSchema
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import FlinkKinesisProducer
from jsonpath_ng import parse

env = StreamExecutionEnvironment.get_execution_environment()  
source_stream = env.add_source(flink_consumer)

data_stream = source_stream.map(lambda x: json.loads(x)) 

b) 通过jsonpath_ng库筛选原始JSON数据并创建新列:

 parser = parse('$.prop1')
 data_stream = data_stream.map(lambda x: (x, [match.value for match in parser.find(x)]))

c) 将嵌套对象中的所有键/值对移动到单个JSON对象中:

def flatten(data):
    for key, value in data.items():
        if isinstance(value, dict):
            for inner_key, inner_value in flatten(value).items():
                yield key + "." + inner_key, inner_value
        elif isinstance(value, list):
            for remaining in value

相关内容

热门资讯

6分钟辅助!hhpoker是真... 6分钟辅助!hhpoker是真的假的,hhpoker真的有透视吗,演示教程(真是有挂)1、每一步都需...
第七分钟辅助!we poker... 第七分钟辅助!we poker插件,we poker免费辅助器,手筋教程(有挂方式)暗藏猫腻,小编详...
七分钟辅助!aa poker辅... 七分钟辅助!aa poker辅助包,pokemmo脚本辅助器下载,讲义教程(有挂秘籍)1、pokem...
第四分钟辅助!wepoker辅... 第四分钟辅助!wepoker辅助器安装包定制,aapoker透视脚本,大纲教程(有挂总结)所有人都在...
第四分钟辅助!wpk透视辅助靠... 第四分钟辅助!wpk透视辅助靠谱吗,wepoker透视苹果系统,诀窍教程(有挂猫腻);运wepoke...
七分钟辅助!aapoker透视... 七分钟辅助!aapoker透视脚本入口,wejoker开挂,学习教程(有挂教程)1、打开软件启动之后...
第四分钟辅助!淘宝买wepok... 第四分钟辅助!淘宝买wepoker透视有用吗,wpk俱乐部怎么作弊,积累教程(有挂规律)1、下载好淘...
6分钟辅助!we-poker软... 6分钟辅助!we-poker软件,购买的wpk辅助在哪里下载,积累教程(有挂技巧)购买的wpk辅助在...
第2分钟辅助!如何下载wepo... 第2分钟辅助!如何下载wepoker安装包,newpoker怎么安装脚本,教程书教程(今日头条)1、...
4分钟辅助!wepoker钻石... 4分钟辅助!wepoker钻石怎么看底牌,wepoker辅助器有哪些功能,法门教程(有挂详细)该软件...