AWSGlueCrawler在使用tsv文件时创建了一个空表,但在使用分号分隔的文件时却没有创建表
创始人
2024-09-25 15:01:09
0

可以手动创建一个表并将其与Crawler进行关联。以下是使用Python代码创建与Crawler关联的表的示例:

import boto3

client = boto3.client('glue')

table = {
    'Name': 'table_name',
    'Description': 'Table created by AWS Glue Crawler',
    'PartitionKeys': [],
    'TableType': 'EXTERNAL_TABLE',
    'Parameters': {
        'classification': 'tsv'  # 设置文件格式
    },
    'StorageDescriptor': {
        'Columns': [],
        'Location': 's3://bucket_name/path/to/files/',  # 设置文件路径
        'InputFormat': 'org.apache.hadoop.mapred.TextInputFormat',
        'OutputFormat': 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',
        'SerdeInfo': {
            'Name': 'my_table',
            'SerializationLibrary': 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe',
            'Parameters': {
                'field.delim': '\t'  # 设置分隔符为制表符
            }
        }
    }
}

response = client.create_table(
    DatabaseName='database_name',  # 设置数据库名称
    TableInput=table
)

print(response)

在此示例中,将文件格式设置为“tsv”,并将分隔符设置为制表符,以使Glue Crawler正确识别文件内容。此外,还需要设置“Location”参数以指示文件存储位置,并将所创建的表与Crawler关联。

相关内容

热门资讯

第2分钟辅助!wejoker透... 第2分钟辅助!wejoker透视方法,wpk透视插件,操作教程(有挂详情)1)wejoker透视方法...
第2分钟辅助!pokemmo脚... 第2分钟辅助!pokemmo脚本,hhpoker可以控制牌吗,经验教程(果真有挂)1、hhpoker...
第1分钟辅助!wepoker私... 第1分钟辅助!wepoker私人局怎么玩,佛手在线大菠萝智能辅助器,资料教程(有挂神器)所有人都在同...
六分钟辅助!hhpoker德州... 六分钟辅助!hhpoker德州透视挂,wepokerplus透视脚本免费,指南教程(有挂方式)运we...
6分钟辅助!hhpoker软件... 6分钟辅助!hhpoker软件安装包,wepoker免费脚本弱密码,总结教程(有挂分析)1)wepo...
第五分钟辅助!aapoker插... 第五分钟辅助!aapoker插件下载,wepoker有辅助器吗,大纲教程(有挂工具)1、完成wepo...
第4分钟辅助!wepoker永... 第4分钟辅助!wepoker永久免费脚本,wepoker买钻石有用吗,绝活教程(有挂方针)1、下载好...
八分钟辅助!wpk作弊,wep... 八分钟辅助!wpk作弊,wepokerplus辅助,法门教程(有挂神器)1、wepokerplus辅...
七分钟辅助!wepoker私局... 七分钟辅助!wepoker私局辅助,hhpoker辅助器视频,经验教程(有挂教学)该软件可以轻松地帮...
第3分钟辅助!wepokerp... 第3分钟辅助!wepokerplus开挂,we poker游戏下,步骤教程(有挂讲解)1、wepok...