AWSGlue:爬虫无法识别包含字符串和时间戳/日期值的CSV文件的元数据。
创始人
2024-09-25 14:31:59
0

针对这个问题,有一个解决方案是手动定义表架构,而不是依赖 Glue 爬虫自动获取。下面是一个 Python 示例代码,其中创建了一个名为 table_name 的表,并手动定义了其字段和类型。

import boto3

client = boto3.client('glue', region_name='your-region-name')

response = client.create_table(
    DatabaseName='your-database-name',
    TableInput={
        'Name': 'table_name',
        'Description': 'description',
        'StorageDescriptor': {
            'Location': 's3://bucket-name/path/to/data',
            'InputFormat': 'org.apache.hadoop.mapred.TextInputFormat',
            'OutputFormat': 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',
            'SerdeInfo': {
                'SerializationLibrary': 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe',
                'Parameters': {
                    'field.delim': ','
                }
            },
            'Columns': [
                {
                    'Name': 'id',
                    'Type': 'int'
                },
                {
                    'Name': 'name',
                    'Type': 'string'
                },
                {
                    'Name': 'date_field',
                    'Type': 'timestamp'
                }
            ]
        }
    }
)

在此示例中,我们定义了三个列:id(int)、name(string)和date_field(timestamp)。您可以根据您的需要定义更多的列。请注意,其中包含 “org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe” 的部分将 SerDe 序列化库设置为处理 CSV 文件。

通过手动定义表架构,您可以确保 Glue 作业将正确识别和解析包含字符串和时间戳/日期值的 CSV 文件。

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...