AWSGlueCrawler每个文件定义一个模式。
创始人
2024-09-25 15:01:03
0

AWS Glue Crawler可以使用grok模式正则表达式来定义相同文件格式的不同模式。下面是一个示例:

{
    "Version": "1.0",
    "Crawler": {
        "Name": "my_crawler",
        "Role": "AWSGlueServiceRoleDefault",
        "Targets": {
            "S3Targets": [
                {
                    "Path": "s3://my-bucket/my-path",
                    "Exclusions": [
                        "my-folder/*"
                    ]
                }
            ]
        },
        "SchemaChangePolicy": {
            "UpdateBehavior": "UPDATE_IN_DATABASE",
            "DeleteBehavior": "LOG"
        },
        "TablePrefix": "my_prefix_",
        "SchemaDefinition": {
            "SchemaId": {
                "SchemaArn": "arn:aws:glue:us-west-2:012345678901:schema/my_schema",
                "SchemaName": "my_schema",
                "RegistryName": "my_registry"
            },
            "SchemaVersionNumber": "1.0"
        },
        "Configuration": "{\"Version\":1.0,\"Grouping\":{\"TableGrouping\":{\"Criteria\":[{\"Field\":\"path\",\"Type\":\"begin_with\",\"Value\":\"s3:/my-bucket/my-path\"}]}}}"
    }
}

此示例使用grok模式正则表达式定义了一个S3路径,并指示AWS Glue Crawler在此路径下搜索所有文件。然后,对于每个文件,它使用正则表达式来定义模式。这允许AWS Glue Crawler在处理多个文件时使用不同的模式。

将此示例中SchemaDefinition部分的值更改为您项目的特定值,并在AWS Glue Crawler控制台中使用JSON配置。

相关内容

热门资讯

1分钟开挂!浙江辅助器(辅助挂... 【亲,浙江辅助器 这款游戏可以开挂的,确实是有挂的,很多玩家在这款浙江辅助器中打牌都会发现很多用户的...
第七分钟科普!欢乐茶馆修改器(... 第七分钟科普!欢乐茶馆修改器(辅助挂)果然有挂(教你攻略开挂辅助软件);无需打开直接搜索打开薇:13...
五分钟讲解!潮汕鱼虾蟹挂辅助器... 五分钟讲解!潮汕鱼虾蟹挂辅助器(辅助挂)果然真的有挂(2026新版开挂辅助插件)《详细加薇13670...
9分钟详情!微信小程序多乐辅助... 9分钟详情!微信小程序多乐辅助器下载(辅助挂)一直真的是有挂(细节方法开挂辅助神器) >>您好:软件...
第七分钟详情!广东雀神智能插件... 广东雀神智能插件官网 无需打开直接搜索微信:136704302本司针对手游进行,选择我们的四大理由:...
九分钟发现!杭州都莱辅助软件有... 杭州都莱辅助软件有没有用是一款专注玩家量身打造的游戏记牌类型软件,在杭州都莱辅助软件有没有用这款游戏...
第九分钟讲解!天天福建辅助器(... 【亲,天天福建辅助器 这款游戏可以开挂的,确实是有挂的,很多玩家在这款天天福建辅助器中打牌都会发现很...
8分钟明白!丫丫游戏辅助(辅助... 8分钟明白!丫丫游戏辅助(辅助挂)一贯真的是有挂(曝光教程开挂辅助软件)您好:丫丫游戏辅助这款游戏可...
5分钟详情!陕西三带辅助(辅助... 陕西三带辅助是一款专注玩家量身打造的游戏记牌类型软件,在陕西三带辅助这款游戏中我们可以记录下每张牌的...
第4分钟详情!新超凡辅助app... 新超凡辅助app链接是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加...