AWSGlue:Anerroroccurredwhilecallingo100.pyWriteDynamicFrame.Failedtofinddatasource:UNKNOWN
创始人
2024-09-25 14:31:55
0

该问题通常是由于在AWS Glue作业中使用的数据源未被正确识别,因此需要确保所使用的数据源被正确识别。一个可能的解决方法是使用正确的数据源类型和相应的依赖项。下面是一个Python代码示例,可以用于指定正确的数据源类型:

from awsglue.context import GlueContext from pyspark.context import SparkContext from pyspark.sql.functions import * from awsglue.transforms import * from awsglue.dynamicframe import *

sc = SparkContext.getOrCreate() glueContext = GlueContext(sc) spark = glueContext.spark_session

创建DynamicFrame对象,输入数据源和数据格式

dynamic_frame = glueContext.create_dynamic_frame.from_options( connection_type="s3", connection_options={ "path": "s3://bucket/path/to/file", "format": "json" }, format="json" )

执行转换操作

...

保存结果到输出数据源

如果使用的是S3数据源,则需要在connection_options中指定S3区域

dynamic_frame.write.format('parquet').save('s3://output-bucket/output-dir',
connection_options={"region": "us-west-2"})

相关内容

热门资讯

透视透视挂!wepoke辅助有... 透视透视挂!wepoke辅助有挂,wepoke中牌率,详细透视黑科技教程;亲,关键说明,wepoke...
德州微扑克辅助!智星德州菠萝有... 德州微扑克辅助!智星德州菠萝有人机吗(透视)果然是有挂(详细辅助专业教程)您好,德州微扑克辅助,确实...
透视脚本!wepoke确实有挂... 透视脚本!wepoke确实有挂,wepoke辅助器真的有用吗,详细透视必胜教程;1、玩家可以在wep...
微扑克全自动机器人!fish ... 微扑克全自动机器人!fish poker外挂(透视)原来真的有挂(详细辅助辅助教程)1、在微扑克全自...
德扑之星ai代打!wepoke... 德扑之星ai代打!wepoke辅助透视教程(透视)果然真的是有挂(详细辅助2025新版技巧)1、这是...
透视透视!wepokeai机器... 透视透视!wepokeai机器人,wepoke能赢嘛,详细透视微扑克教程wepokeai机器人是一种...
wpk透视辅助!微扑克wpk安... wpk透视辅助!微扑克wpk安全吗(透视)先前是真的有挂(详细辅助普及教程)1、这是跨平台的wpk透...
透视神器!we辅助poker德... 透视神器!we辅助poker德之星,wepoke真的有挂嘛,详细透视细节方法1、打开软件启动之后找到...
aapoker挂!wpk 辅助... aapoker挂!wpk 辅助工具(透视)好像真的有挂(详细辅助实用技巧)1、不需要AI权限,帮助你...
透视辅助!wepoke插件,w... 透视辅助!wepoke插件,wepoke软件收费吗,详细透视玩家教程1、让任何用户在无需wepoke...