AWSGlue无法连接到Snowflake。
创始人
2024-09-25 17:01:27
0

以下是一组步骤,可用于解决 AWS Glue 与 Snowflake 连接问题:

  1. 确保 AWS Glue IAM 角色有 Snowflake 权限。

在 IAM 控制台上,确保已在 AWS Glue 根据实际情况创建了一个 IAM 角色。至少应该有 AWSServiceRoleForAWSGlueService 和 Snowflake 粘合剂 Snowflake Connector 权限。您可以使用以下代码示例创建 IAM 角色。

aws iam create-role --role-name my-glue-snowflake-role --assume-role-policy-document file://trustpolicyforec2.json
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/service-role/AWSServiceRoleForAWSGlueService --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/PowerUserAccess --role-name my-glue-snowflake-role

您还需要在 Snowflake 中创建具有必要权限的 Snowflake 用户。有关如何创建 Snowflake 用户的信息,请参见 Snowflake 文档。

  1. 创建 Glue Job 并启用 VPC。

创建 AWS Glue 作业时切换到启用 VPC。确保 VPC 中的所有 SG 都包含 Snowflake 部分的入站/出站规则。

  1. 使用 Glue DynamicFrameConnectors 手动连接到 Snowflake。

请使用以下代码示例手动连接到 Snowflake。

import boto3

from awsglue.dynamicframe import DynamicFrame
from awsglue.context import GlueContext
from pyspark.context import SparkContext
from pyspark.sql.functions import col
from awsglue.job import Job
from awsglue.transforms import *

sc = SparkContext()
glueContext = GlueContext(sc)
job = Job(glueContext)

snowflakeSource = glueContext.create_dynamic_frame.from_options(
    'snowflake',
    connection_options={
        'url': 'jdbc:snowflake://..snowflakecomputing.com/',
        'user': '',
        'password': '',
        'dbtable': '.

相关内容

热门资讯

第9分钟法门!we-poker... 第9分钟法门!we-poker辅助器(透视)切实真的有辅助神器(哔哩哔哩)1、让任何用户在无需we-...
四分钟积累!wepoker辅助... 四分钟积累!wepoker辅助器激活码(透视)一直是真的有辅助脚本(哔哩哔哩)1、实时wepoker...
第6分钟手册!智星德州辅助译码... 第6分钟手册!智星德州辅助译码插件靠谱吗(透视)总是是真的有辅助透视(哔哩哔哩)1、进入到智星德州辅...
第一分钟绝活儿!hhpoker... 第一分钟绝活儿!hhpoker软件靠谱吗(透视)切实真的有辅助工具(哔哩哔哩)1、首先打开hhpok...
第六分钟操作!德州局hhpok... 第六分钟操作!德州局hhpoker(透视)竟然真的是有辅助脚本(哔哩哔哩)1)德州局hhpoker有...
第二分钟经验!wepoker私... 第二分钟经验!wepoker私局辅助(透视)原来真的是有辅助插件(哔哩哔哩)运wepoker私局辅助...
第四分钟绝活儿!aapoker... 第四分钟绝活儿!aapoker怎么设置提高好牌几率(透视)好像真的有辅助透视(哔哩哔哩)亲,关键说明...
5分钟技法!wepoker轻量... 5分钟技法!wepoker轻量版透视系统(透视)一直真的是有辅助辅助(哔哩哔哩)1、进入游戏-大厅左...
第8分钟攻略!约局吧游戏挂(透... 第8分钟攻略!约局吧游戏挂(透视)切实存在有辅助教程(哔哩哔哩)1、玩家可以在约局吧游戏挂透视最简单...
三分钟指引!wepoker辅助... 三分钟指引!wepoker辅助分析器(透视)真是是真的有辅助工具(哔哩哔哩)1、玩家可以在wepok...