AWSGlueCrawler每个文件定义一个模式。
创始人
2024-09-25 15:01:03
0

AWS Glue Crawler可以使用grok模式正则表达式来定义相同文件格式的不同模式。下面是一个示例:

{
    "Version": "1.0",
    "Crawler": {
        "Name": "my_crawler",
        "Role": "AWSGlueServiceRoleDefault",
        "Targets": {
            "S3Targets": [
                {
                    "Path": "s3://my-bucket/my-path",
                    "Exclusions": [
                        "my-folder/*"
                    ]
                }
            ]
        },
        "SchemaChangePolicy": {
            "UpdateBehavior": "UPDATE_IN_DATABASE",
            "DeleteBehavior": "LOG"
        },
        "TablePrefix": "my_prefix_",
        "SchemaDefinition": {
            "SchemaId": {
                "SchemaArn": "arn:aws:glue:us-west-2:012345678901:schema/my_schema",
                "SchemaName": "my_schema",
                "RegistryName": "my_registry"
            },
            "SchemaVersionNumber": "1.0"
        },
        "Configuration": "{\"Version\":1.0,\"Grouping\":{\"TableGrouping\":{\"Criteria\":[{\"Field\":\"path\",\"Type\":\"begin_with\",\"Value\":\"s3:/my-bucket/my-path\"}]}}}"
    }
}

此示例使用grok模式正则表达式定义了一个S3路径,并指示AWS Glue Crawler在此路径下搜索所有文件。然后,对于每个文件,它使用正则表达式来定义模式。这允许AWS Glue Crawler在处理多个文件时使用不同的模式。

将此示例中SchemaDefinition部分的值更改为您项目的特定值,并在AWS Glue Crawler控制台中使用JSON配置。

相关内容

热门资讯

9分钟辅助!wepoker辅助... 9分钟辅助!wepoker辅助是真的假的,wpk控制牌是真的吗,方式教程(揭秘有挂)1、完成wepo...
一分钟辅助!pokemmo脚本... 一分钟辅助!pokemmo脚本手机版,aapoker怎么提高中牌率,阶段教程(有挂解密)暗藏猫腻,小...
四分钟辅助!we-poker有... 四分钟辅助!we-poker有人玩吗,wepoker免费脚本咨询,演示教程(有挂教程)wepoker...
八分钟辅助!aa poker辅... 八分钟辅助!aa poker辅助,pokemmo内置修改器,方式教程(证实有挂)1、完成pokemm...
第2分钟辅助!智星菠萝透视,h... 第2分钟辅助!智星菠萝透视,hhpoker到底可以作弊码,策略教程(有挂规律)1、hhpoker到底...
第1分钟辅助!wepoker怎... 第1分钟辅助!wepoker怎么发冤家牌,pokemomo辅助软件,办法教程(有挂解惑)1、wepo...
第1分钟辅助!德普之星辅助工具... 第1分钟辅助!德普之星辅助工具如何打开,德州局hhpoker,总结教程(有挂辅助)1、进入游戏-大厅...
第九分钟辅助!wepoker私... 第九分钟辅助!wepoker私人局俱乐部,德州圈脚本,妙招教程(有挂分享)暗藏猫腻,小编详细说明we...
第四分钟辅助!wpk模拟器,h... 第四分钟辅助!wpk模拟器,hhpoker辅助靠谱吗,技法教程(有挂讲解)1、完成hhpoker辅助...
第十分钟辅助!wepoker轻... 第十分钟辅助!wepoker轻量版辅助,wpk德州局透视,模板教程(有挂方针)wepoker轻量版辅...