ApacheBeamWriteToJdbc:java.lang.IllegalArgumentException:未知编码器URNbeam:coder:pickled_python:v1
创始人
2024-09-05 12:00:32
0

Java 要解决此问题,请使用可序列化类型作为 Beam PTransform 的输出,并配置正确的 Beam 编码器。一些 JDBC 驱动程序可能不支持所有 Java 对象类型。使用 Serializable 或兼容类型可以更好地支持 JDBC 驱动程序。例如,以下示例将 Beam PCollection 中的 Person 对象转换为 Map 并使用 JdbcIO.write()写入 JDBC 表中:

PCollection persons = ...;

// Convert Person objects to Maps PCollection> personMaps = persons.apply( MapElements.into(TypeDescriptors.maps(TypeDescriptors.strings(), TypeDescriptor.of(Object.class))) .via(Person::toMap));

// Write maps to a JDBC table personMaps.apply(JdbcIO.>write() .withDataSourceConfiguration(JdbcIO.DataSourceConfiguration .create("org.postgresql.Driver", "jdbc:postgresql://host:port/database") .withUsername("username") .withPassword("password")) .withStatement("INSERT INTO person (id, name, age) VALUES (?, ?, ?)") .withPreparedStatementSetter((element, statement) -> { statement.setInt(1, element.get("id")); statement.setString(2, element.get("name")); statement.setInt(3, element.get("age")); }));

Python 在 Python SDK 中,JdbcWriteTransform 在创建操作并调用 JdbcWriteFn.write 方法时,在 Beam 中为每个 PCollection 元素使用依赖于 Python pickle 的默认编码。由于未实现使用这种序列化模式的 Java 编码器实现,因此 Beam 会在创建 coder 时抛出上述异常。

此问题的一种解决方法是将 Java 类型映射到序列化的 Python 对象类型。代码示例:

import apache_beam as beam import psycopg2 import cPickle

class PickledPythonCoder(object): def encode(self, value): return cPickle.dumps(value)

def decode(self, value): return cPickle.loads(value)

def is_deterministic(self): return True

def eq(self, other): return isinstance(other, PickledPythonCoder)

coder = PickledPythonCoder()

class Person(object): def init(self, id, name, age): self.id = id self.name = name self.age = age

def asTuple(self): return (self.id, self.name, self.age)

class WriteToDB(beam.DoFn):

相关内容

热门资讯

透视科普!wpk模拟器,wpk... 透视科普!wpk模拟器,wpk系统是否存在作弊行为-本来存在有辅助插件(哔哩哔哩)1、任何透视是真的...
透视详情!wepoker看底牌... 透视详情!wepoker看底牌,wejoker辅助器怎么卖-真是有辅助软件(哔哩哔哩)1、玩家可以在...
透视揭露!佛手在线是不是有挂,... 透视揭露!佛手在线是不是有挂,拱趴大菠萝有什么挂-真是一直都是有辅助技巧(哔哩哔哩)1、完成佛手在线...
透视推荐!hhpoker免费透... 透视推荐!hhpoker免费透视脚本,hhpoker作弊实战视频-原来是真的有辅助软件(哔哩哔哩)1...
透视分享!hhpoker德州透... 透视分享!hhpoker德州透视,hhpoker视频巡查真的假的-一贯一直都是有辅助app(哔哩哔哩...
透视解谜!wpk辅助软件,wp... 透视解谜!wpk辅助软件,wpk辅助购买-都是是有辅助插件(哔哩哔哩)1、用户打开应用后不用登录就可...
透视详情!德扑圈有透视吗,如何... 透视详情!德扑圈有透视吗,如何下载德普之星辅助软件-切实一直都是有辅助教程(哔哩哔哩)1、有没有辅助...
透视详情!德普辅助器怎么用,德... 透视详情!德普辅助器怎么用,德普之星怎么开辅助-都是是真的有辅助插件(哔哩哔哩)1、透视详情!德普辅...
透视揭幕!德普之星有辅助软件吗... 透视揭幕!德普之星有辅助软件吗,德普之星透视辅助软件-其实是有辅助工具(哔哩哔哩)暗藏猫腻,小编详细...
透视解密!wepoker轻量版... 透视解密!wepoker轻量版透视,wepoker透视脚本下载-本来是有辅助神器(哔哩哔哩)1、完成...