AWS Glue Crawler在模式中不创建表。
创始人
2024-11-16 04:30:23
0

AWS Glue Crawler可以根据数据源自动创建和更新表的模式,但有时可能不希望Crawler自动创建表。以下是一种解决方法,其中包含代码示例:

  1. 创建一个名为“skip_create_table”(或任何其他合适的名称)的Lambda函数。此函数将在Crawler运行之前被调用,以根据需要跳过或取消Crawler的创建表操作。
import boto3

def lambda_handler(event, context):
    glue = boto3.client('glue')
    crawler_name = 'your-crawler-name'  # 替换为实际的Crawler名称
    
    # 获取Crawler的当前配置
    response = glue.get_crawler(Name=crawler_name)
    
    # 更新Crawler的配置,将CreateTable属性设置为False
    response['Crawler']['TableCreatePolicy']['CreateTable'] = False
    
    # 更新Crawler的配置
    glue.update_crawler(Name=crawler_name, CrawlerUpdate=response['Crawler'])
    
    return {
        'statusCode': 200,
        'body': 'Crawler table creation skipped'
    }
  1. 将上述代码保存为Python文件,并创建一个新的Lambda函数。确保将Lambda函数与适当的IAM角色关联,以便具有对Glue资源的访问权限。

  2. 在AWS Glue控制台中,打开“事件”选项卡,并将创建的Lambda函数与Crawler的“BeforeCrawlerStarts”事件关联。

这样,当Crawler运行时,它将在模式中不创建表。您可以根据需要调整代码,以适应不同的Crawler配置和需求。

相关内容

热门资讯

重大推荐!德扑ai操作(微扑克... WePoker透视辅助工具核心要点解析‌,重大推荐!德扑ai操作(微扑克后台)确实真的有挂(辅助该)...
每日必备(wepoke能赢)外... 每日必备(wepoke能赢)外挂辅助器安装(透视)其实真的有挂(2023已更新)(哔哩哔哩);(需添...
透明软件!来玩德州有外挂(透视... 透明软件!来玩德州有外挂(透视)竟然真的有挂(详细教程)(有挂总结)-哔哩哔哩;来玩德州有外挂是一种...
分享认知(aapoker安卓版... 分享认知(aapoker安卓版)外挂透明挂辅助机制(透视辅助)详细教程((2024已更新))(哔哩哔...
十分钟了解!德州ai辅助nzp... 十分钟了解!德州ai辅助nzp(红龙扑克作假)果真是真的有挂(辅助该)可靠教程(有挂秘籍)-哔哩哔哩...
最新技巧(governorof... WePoker透视辅助工具核心要点解析‌,最新技巧(governorofpoker3)外挂辅助app...
推荐十款!hm3德州辅助(透视... 推荐十款!hm3德州辅助(透视)确实是真的有挂(详细教程)(有挂透明)-哔哩哔哩科技教程也叫必备教程...
科普分享(德扑之星开桌)外挂透... 科普分享(德扑之星开桌)外挂透明挂辅助挂(透视辅助)详细教程((2021已更新))(哔哩哔哩);人气...
避坑细节!云扑克(来玩app)... 来玩app新手教程相关信息汇总(需添加指定薇757446909获取下载链接);避坑细节!云扑克(来玩...
安装程序教程(德扑之星花钱)外... 安装程序教程(德扑之星花钱)外挂辅助挂(辅助挂)其实是真的有挂(2022已更新)(哔哩哔哩)是一款可...