ApacheBeamWriteToJdbc:java.lang.IllegalArgumentException:未知编码器URNbeam:coder:pickled_python:v1
创始人
2024-09-05 12:00:32
0

Java 要解决此问题,请使用可序列化类型作为 Beam PTransform 的输出,并配置正确的 Beam 编码器。一些 JDBC 驱动程序可能不支持所有 Java 对象类型。使用 Serializable 或兼容类型可以更好地支持 JDBC 驱动程序。例如,以下示例将 Beam PCollection 中的 Person 对象转换为 Map 并使用 JdbcIO.write()写入 JDBC 表中:

PCollection persons = ...;

// Convert Person objects to Maps PCollection> personMaps = persons.apply( MapElements.into(TypeDescriptors.maps(TypeDescriptors.strings(), TypeDescriptor.of(Object.class))) .via(Person::toMap));

// Write maps to a JDBC table personMaps.apply(JdbcIO.>write() .withDataSourceConfiguration(JdbcIO.DataSourceConfiguration .create("org.postgresql.Driver", "jdbc:postgresql://host:port/database") .withUsername("username") .withPassword("password")) .withStatement("INSERT INTO person (id, name, age) VALUES (?, ?, ?)") .withPreparedStatementSetter((element, statement) -> { statement.setInt(1, element.get("id")); statement.setString(2, element.get("name")); statement.setInt(3, element.get("age")); }));

Python 在 Python SDK 中,JdbcWriteTransform 在创建操作并调用 JdbcWriteFn.write 方法时,在 Beam 中为每个 PCollection 元素使用依赖于 Python pickle 的默认编码。由于未实现使用这种序列化模式的 Java 编码器实现,因此 Beam 会在创建 coder 时抛出上述异常。

此问题的一种解决方法是将 Java 类型映射到序列化的 Python 对象类型。代码示例:

import apache_beam as beam import psycopg2 import cPickle

class PickledPythonCoder(object): def encode(self, value): return cPickle.dumps(value)

def decode(self, value): return cPickle.loads(value)

def is_deterministic(self): return True

def eq(self, other): return isinstance(other, PickledPythonCoder)

coder = PickledPythonCoder()

class Person(object): def init(self, id, name, age): self.id = id self.name = name self.age = age

def asTuple(self): return (self.id, self.name, self.age)

class WriteToDB(beam.DoFn):

相关内容

热门资讯

我来分享!小闲巴渝辅助,威信茶... 我来分享!小闲巴渝辅助,威信茶馆解码器,详细教程(有挂实锤)一、威信茶馆解码器可以开透视的定义与意义...
重大来袭!奇迹陕西游戏辅助,潮... 重大来袭!奇迹陕西游戏辅助,潮汕雀友会下载app,详细app(有挂攻略)1、奇迹陕西游戏辅助辅助软件...
推荐攻略!微乐陕西小程序破解器... 推荐攻略!微乐陕西小程序破解器,情怀宜春辅助,详细神器(有挂解密)1)微乐陕西小程序破解器辅助插件:...
一分钟了解!天天贵阳游戏辅助,... 一分钟了解!天天贵阳游戏辅助,芒果辅助平台,详细攻略(了解有挂)1、玩家可以在天天贵阳游戏辅助线上大...
一分钟秒懂!乐平包王讨赏辅助,... 您好,乐平包王讨赏辅助这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩...
总算清楚!四川麻将口诀顺口溜,... 总算清楚!四川麻将口诀顺口溜,钱塘十三水辅助器,详细插件(有挂方法)1、金币登录送、破产送、升级送、...
每日必备!微乐多乐跑作弊,创思... 每日必备!微乐多乐跑作弊,创思维激k辅助器免费,详细器(有挂技术)1、操作简单,无需创思维激k辅助器...
科技分享!山西扣点点app技巧... 科技分享!山西扣点点app技巧,辅助挂定制交易平台,详细器(有挂存在)1、辅助挂定制交易平台公共底牌...
玩家必看科普!多乐辅助下载,微... 玩家必看科普!多乐辅助下载,微信微乐辅助ios,详细app(有挂工具)小薇(辅助器软件下载)致您一封...
教程攻略!菠萝辅助破解版,广西... 教程攻略!菠萝辅助破解版,广西友乐辅助器,详细挂(有挂讲解)1、不需要AI权限,帮助你快速的进行广西...