AwsGlueCrawlerforMysql源不得到正确的类型
创始人
2024-09-25 15:00:58
0

如果您发现使用AWS Glue爬虫提取MySQL数据库源时得到的列类型不正确,则可能需要进行数据类型映射。要更好地控制AWS Glue的列类型,您可以使用“数据映射”选项来定义一个由类型分组组成的映射。具体实现方法如下:

  1. 登录AWS控制台,导航到AWS Glue服务页面,并单击“分类器”选项。
  2. 选择“添加分类器”,为它指定一个名称并选择来源(即“JDBC”)。
  3. 在传递给AWS Glue爬虫的连接参数中,输入自己的JDBC连接字符串、用户名和密码。
  4. 在数据目标设置中,选择一个S3桶,这个桶用于存储您提取到的数据,要选择一个与您的源表相似的导航器,以便执行更好的前置检查。在“选择数据存储格式”选项中,选择“Parquet”格式。
  5. 选择“映射”选项卡,编辑映射关系以定义您的数据类型映射。例如,在MySQL中具有适当Decimal类型的列,在AWS Glue中可能会导致AWS Glue只是将其视为““double”类型。这时,您可以编辑类别映射以在AWS Glue中正确定义“Decimal”类型。

以下是一些示例代码,说明如何在AWS Glue中定义数据类型映射:

Map types for specific columns

custom_mapping = {"source_column": "target_type"}

Use mapping for all columns

all_mapping = {"$all": {"source_type": "target_type"}}

glue_context = GlueContext(SparkContext.getOrCreate()) dynamic_frame = glue_context.create_dynamic_frame.from_catalog(database="my-database", table_name="my-table",
transformation_ctx="datasource") mapping = MapTransformation(custom_mapping, all_mapping)

mapped_dynamic_frame = mapping

相关内容

热门资讯

1分钟开挂!浙江辅助器(辅助挂... 【亲,浙江辅助器 这款游戏可以开挂的,确实是有挂的,很多玩家在这款浙江辅助器中打牌都会发现很多用户的...
第七分钟科普!欢乐茶馆修改器(... 第七分钟科普!欢乐茶馆修改器(辅助挂)果然有挂(教你攻略开挂辅助软件);无需打开直接搜索打开薇:13...
五分钟讲解!潮汕鱼虾蟹挂辅助器... 五分钟讲解!潮汕鱼虾蟹挂辅助器(辅助挂)果然真的有挂(2026新版开挂辅助插件)《详细加薇13670...
9分钟详情!微信小程序多乐辅助... 9分钟详情!微信小程序多乐辅助器下载(辅助挂)一直真的是有挂(细节方法开挂辅助神器) >>您好:软件...
第七分钟详情!广东雀神智能插件... 广东雀神智能插件官网 无需打开直接搜索微信:136704302本司针对手游进行,选择我们的四大理由:...
九分钟发现!杭州都莱辅助软件有... 杭州都莱辅助软件有没有用是一款专注玩家量身打造的游戏记牌类型软件,在杭州都莱辅助软件有没有用这款游戏...
第九分钟讲解!天天福建辅助器(... 【亲,天天福建辅助器 这款游戏可以开挂的,确实是有挂的,很多玩家在这款天天福建辅助器中打牌都会发现很...
8分钟明白!丫丫游戏辅助(辅助... 8分钟明白!丫丫游戏辅助(辅助挂)一贯真的是有挂(曝光教程开挂辅助软件)您好:丫丫游戏辅助这款游戏可...
5分钟详情!陕西三带辅助(辅助... 陕西三带辅助是一款专注玩家量身打造的游戏记牌类型软件,在陕西三带辅助这款游戏中我们可以记录下每张牌的...
第4分钟详情!新超凡辅助app... 新超凡辅助app链接是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加...