AWSGlueCrawler在Athena查询中破坏表的数据结构
创始人
2024-09-25 15:01:07
0次

使用AWS Glue Crawler时，有时会发现它会改变表的数据结构，这会导致在Athena查询中出现错误。这可能是由于Glue Crawler将数据类型解释为不正确的类型引起的。为了解决这个问题，可以手动定义表的结构，并在Glue Crawler中禁用表结构的自动推断。

以下是示例代码：

  1. 手动定义表结构

CREATE EXTERNAL TABLE table_name( col1 string COMMENT 'comment1', col2 int COMMENT 'comment2' ) PARTITIONED BY ( partition_col string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 's3://bucket/path/to/table/';

  1. 禁用表结构自动推断

在AWS Glue Crawler中，选择要爬取的数据库和表，并在“配置”选项卡下找到“添加一个新的列类型定义”选项。添加表的架构定义并禁用“推测数据类型”选项。

这些步骤将确保表的结构不会被Glue Crawler错误地解释并导致Athena查询错误。

上一篇：AWSGlueCrawler遇到问题

下一篇：AWSGlueCrawler在使用tsv文件时创建了一个空表，但在使用分号分隔的文件时却没有创建表

相关内容

热门资讯

据权威媒体报道！天天微友有辅助... 据权威媒体报道！天天微友有辅助吗，新518互游插件，资料教程（一直真的有挂的）-哔哩哔哩1、下载好天...
昨日！微乐陕西三代自建房怎么提... 昨日！微乐陕西三代自建房怎么提高胜率，金州水鱼挂怎么购买，要领教程（其实真的有挂）-哔哩哔哩在进入微...
此事迅速冲上热搜！浙江宝宝游戏... 此事迅速冲上热搜！浙江宝宝游戏辅助，微友辅助器免费版v2.0，模板教程（原来确实是有挂）-哔哩哔哩小...
相较于以往！浙江宝宝游戏辅助，... 相较于以往！浙江宝宝游戏辅助，火神大厅辅助，课程教程（其实真的有挂的）-哔哩哔哩1、完成浙江宝宝游戏...
近年来！微乐小程序游戏破解器，... 近年来！微乐小程序游戏破解器，广东雀神挂件怎么样，窍要教程（一贯真的有挂的）-哔哩哔哩微乐小程序游戏...
今日！约战青山晃晃透视辅助，潮... 今日！约战青山晃晃透视辅助，潮汕掌手娱辅助器，诀窍教程（其实确实是有挂）-哔哩哔哩1、今日！约战青山...
来临！小程序能开挂吗，杭州都莱... 来临！小程序能开挂吗，杭州都莱破解版，大纲教程（果然确实有挂的）-哔哩哔哩1、下载好杭州都莱破解版辅...
受玩家影响！芒果辅助器安卓版，... 受玩家影响！芒果辅助器安卓版，赣牌圈挂安装图解，阶段教程（一贯是真的有挂的）-哔哩哔哩1、用户打开应...
更值得关注的是！丽水跑得快辅助... 更值得关注的是！丽水跑得快辅助工具，友友联盟有没有辅助，秘籍教程（果然确实有挂）-哔哩哔哩1、进入到...
出乎意料的是！广西八一字牌透明... 出乎意料的是！广西八一字牌透明最新款，决胜辅助，学习教程（其实是有挂）-哔哩哔哩1、广西八一字牌透明...