AWS中ETL连接器无法加载。
创始人
2024-09-28 03:30:49
0

如果您在AWS中启动ETL作业时遇到impyla或jaydebeapi模块(ETL连接器的一部分)加载失败的问题,则可能存在安全组或网络ACL问题。

在RUN_ETL_JOBS.sh文件中设置以下环境变量:

export IMPYLA_LIB=$SPARK_HOME/python/lib/py4j-0.10.x-src.zip:$SPARK_HOME/python/lib/pyspark.zip:$SPARK_HOME/python/lib/pyrolite.jar:$SPARK_HOME/python/lib/py4j-*.zip:$SPARK_HOME/python/lib/happybase.zip

export JDBCAPI_LIB=$SPARK_HOME/python/lib/jaydebeapi-*.zip:$SPARK_HOME/python/lib/JPype1.zip

然后,将以下入站和出站规则添加到您的安全组和网络ACL中:

入站:

端口:22 协议:TCP 来源:您的IP地址或CIDR地址

端口:21050(仅适用于Impala) 协议:TCP 来源:您的IP地址或CIDR地址

出站:

端口:0 - 65535 协议:TCP 目标:0.0.0.0/0

端口:0 - 65535 协议:UDP 目标:0.0.0.0/0

在启用这些规则后,重试在AWS中启动ETL作业。

相关内容

热门资讯

透视开挂!哈糖大菠萝助手(透视... 透视开挂!哈糖大菠萝助手(透视)德普之星透视辅助软件下载,教程攻略(有挂教程)-哔哩哔哩1、很好的工...
wejoker透视方法!菠萝辅... wejoker透视方法!菠萝辅助器免费版的特点(透视)工具-一直普及有挂1、菠萝辅助器免费版的特点有...
透视推荐!aapoker怎么开... 透视推荐!aapoker怎么开辅助器(透视)wpk德州局透视,教程阶段(今日头条)-哔哩哔哩1、aa...
德州圈脚本!hhpoker可以... 德州圈脚本!hhpoker可以控制吗(透视)教程-一贯解迷是真的挂1、在hhpoker可以控制吗插件...
透视有挂!wepoker私局辅... 透视有挂!wepoker私局辅助(透视)wepoker有脚本吗,教程指南(有挂讲解)-哔哩哔哩1、下...
wepoker脚本!德州透视h... wepoker脚本!德州透视hhpoker(透视)器-切实解密真的有挂wepoker脚本!德州透视h...
pokemmo辅助工具!德普之... pokemmo辅助工具!德普之星透视辅助软件激活码(透视)挂-原来透视有挂一、德普之星透视辅助软件激...
透视有挂!wepoker买脚本... 透视有挂!wepoker买脚本靠谱吗(透视)约局吧开挂神器是真的吗,教程要领(有挂方略)-哔哩哔哩1...
sohoo辅助!hhpoker... sohoo辅助!hhpoker到底可以透视吗(透视)方法-本来推荐真的是有挂1、许多玩家不知道hhp...
透视辅助!pokemmo手机版... 透视辅助!pokemmo手机版修改器(透视)佛手大菠萝13道挂哪里,教程教材(有挂实锤)-哔哩哔哩佛...