AWSGlue无法连接到Snowflake。
创始人
2024-09-25 17:01:27
0

以下是一组步骤,可用于解决 AWS Glue 与 Snowflake 连接问题:

  1. 确保 AWS Glue IAM 角色有 Snowflake 权限。

在 IAM 控制台上,确保已在 AWS Glue 根据实际情况创建了一个 IAM 角色。至少应该有 AWSServiceRoleForAWSGlueService 和 Snowflake 粘合剂 Snowflake Connector 权限。您可以使用以下代码示例创建 IAM 角色。

aws iam create-role --role-name my-glue-snowflake-role --assume-role-policy-document file://trustpolicyforec2.json
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/service-role/AWSServiceRoleForAWSGlueService --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/PowerUserAccess --role-name my-glue-snowflake-role

您还需要在 Snowflake 中创建具有必要权限的 Snowflake 用户。有关如何创建 Snowflake 用户的信息,请参见 Snowflake 文档。

  1. 创建 Glue Job 并启用 VPC。

创建 AWS Glue 作业时切换到启用 VPC。确保 VPC 中的所有 SG 都包含 Snowflake 部分的入站/出站规则。

  1. 使用 Glue DynamicFrameConnectors 手动连接到 Snowflake。

请使用以下代码示例手动连接到 Snowflake。

import boto3

from awsglue.dynamicframe import DynamicFrame
from awsglue.context import GlueContext
from pyspark.context import SparkContext
from pyspark.sql.functions import col
from awsglue.job import Job
from awsglue.transforms import *

sc = SparkContext()
glueContext = GlueContext(sc)
job = Job(glueContext)

snowflakeSource = glueContext.create_dynamic_frame.from_options(
    'snowflake',
    connection_options={
        'url': 'jdbc:snowflake://..snowflakecomputing.com/',
        'user': '',
        'password': '',
        'dbtable': '.

相关内容

热门资讯

第八分钟辅助!pokernow... 第八分钟辅助!pokernow辅助工具,购买的wpk辅助在哪里下载,练习教程(揭秘有挂)1)购买的w...
三分钟辅助!werplan免费... 您好,wepoker怎么设置透视这款游戏可以开挂的,确实是有挂的,需要了解加去威信【48527505...
第二分钟辅助!wepoker怎... 第二分钟辅助!wepoker怎么开辅助,wpk作弊是真的吗,指引教程(有挂工具)1、这是跨平台的we...
十分钟辅助!wepoker辅助... 十分钟辅助!wepoker辅助器软件下载,wepoker透视版下载,秘籍教程(发现有挂)1、打开软件...
第九分钟辅助!wepoker游... 第九分钟辅助!wepoker游戏安装教程,aapoker脚本,手筋教程(真的有挂)1、进入游戏-大厅...
第六分钟辅助!wpk透视是真的... 第六分钟辅助!wpk透视是真的假的,xpoker怎么作弊,阶段教程(有挂分析)1、进入游戏-大厅左侧...
5分钟辅助!大菠萝辅助器,im... 5分钟辅助!大菠萝辅助器,impoker辅助,操作教程(有挂透明挂)1、上手简单,内置详细流程视频教...
2分钟辅助!aapoker能控... 您好,aapoker能控制牌吗这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302...
第1分钟辅助!WePOker有... 第1分钟辅助!WePOker有没有透视方法,aapoker怎么选牌,指引教程(有挂解密)1、WePO...
第九分钟辅助!wepoker透... 第九分钟辅助!wepoker透视脚本网页,如何下载wepoker安装包,技法教程(有挂方法)一、如何...