AWSGlue:爬虫无法识别包含字符串和时间戳/日期值的CSV文件的元数据。
创始人
2024-09-25 14:31:59
0

针对这个问题,有一个解决方案是手动定义表架构,而不是依赖 Glue 爬虫自动获取。下面是一个 Python 示例代码,其中创建了一个名为 table_name 的表,并手动定义了其字段和类型。

import boto3

client = boto3.client('glue', region_name='your-region-name')

response = client.create_table(
    DatabaseName='your-database-name',
    TableInput={
        'Name': 'table_name',
        'Description': 'description',
        'StorageDescriptor': {
            'Location': 's3://bucket-name/path/to/data',
            'InputFormat': 'org.apache.hadoop.mapred.TextInputFormat',
            'OutputFormat': 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',
            'SerdeInfo': {
                'SerializationLibrary': 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe',
                'Parameters': {
                    'field.delim': ','
                }
            },
            'Columns': [
                {
                    'Name': 'id',
                    'Type': 'int'
                },
                {
                    'Name': 'name',
                    'Type': 'string'
                },
                {
                    'Name': 'date_field',
                    'Type': 'timestamp'
                }
            ]
        }
    }
)

在此示例中,我们定义了三个列:id(int)、name(string)和date_field(timestamp)。您可以根据您的需要定义更多的列。请注意,其中包含 “org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe” 的部分将 SerDe 序列化库设置为处理 CSV 文件。

通过手动定义表架构,您可以确保 Glue 作业将正确识别和解析包含字符串和时间戳/日期值的 CSV 文件。

相关内容

热门资讯

第六分钟透视!微乐小程序游戏破... 第六分钟透视!微乐小程序游戏破解器(辅助挂)原来是有挂(普及教程开挂辅助神器);无需打开直接搜索薇:...
5分钟发现!广西友乐解码器下载... 5分钟发现!广西友乐解码器下载安装(辅助挂)果然是有挂(介绍教程开挂辅助安装) 了解更多开挂安装加(...
第六分钟科普!湖北休闲辅助(辅... 第六分钟科普!湖北休闲辅助(辅助挂)一直确实有挂(安装教程开挂辅助神器)1、下载安装好湖北休闲辅助,...
第二分钟辅助!至余干辅助(辅助... 第二分钟辅助!至余干辅助(辅助挂)其实确实有挂(教你攻略开挂辅助平台) >>您好:软件加薇13670...
7分钟辅助!仟众部落辅助(辅助... 7分钟辅助!仟众部落辅助(辅助挂)其实确实有挂(德州论坛开挂辅助平台);亲,仟众部落辅助这款游戏原来...
三分钟详情!玄龙辅助工具(辅助... 三分钟详情!玄龙辅助工具(辅助挂)一直确实有挂(规律教程开挂辅助软件);无需打开直接搜索微信(136...
第二分钟讲解!浙江游戏辅助(辅... 您好:浙江游戏辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
十分钟了解!福建天天开心福州器... 十分钟了解!福建天天开心福州器真的假的(辅助挂)原来有挂(安装教程开挂辅助安装);无需打开直接搜索加...
第6分钟科普!微信随意玩辅助器... 您好:这款微信随意玩辅助器有开挂吗游戏是可以开挂的,确实是有挂的,很多玩家在这款微信随意玩辅助器有开...
第七分钟发现!情怀游戏字牌辅助... 第七分钟发现!情怀游戏字牌辅助(辅助挂)一直真的是有挂(黑科技教程开挂辅助神器);无需打开直接搜索打...