AWS Glue是一项全托管的ETL（Extract, Transform, Load）服务，可以自动化数据准备和转换，使其适合分析、机器学习和其他大数据工作负载。而AWS Glue的Dev Endpoint是一个开发环境，可以用于编写和调试ETL脚本。

下面是AWS Glue和其Dev Endpoint之间的几个主要差异：

1. 功能差异：

   • AWS Glue提供了自动化的数据目录和表注册、数据转换和ETL作业调度等功能。
   • Dev Endpoint提供了一个开发环境，可以使用Python或Scala编写和调试ETL脚本，以及进行交互式查询。

2. 部署方式：

   • AWS Glue是一项托管服务，您只需配置和管理Glue作业和数据目录，无需管理底层的基础设施。
   • Dev Endpoint是一个EC2实例，您需要自己管理和维护该实例，包括配置和更新软件、处理安全性和访问控制等方面的任务。

3. 使用方式：

   • AWS Glue适用于自动化、规模化的数据准备和转换任务，适合处理大规模的数据集。
   • Dev Endpoint适用于开发和调试ETL脚本，以及进行交互式查询和探索数据。

下面是一个使用AWS Glue和Dev Endpoint的代码示例：

1. AWS Glue 示例代码：

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 初始化GlueContext和SparkContext
args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# 创建DynamicFrame
datasource = glueContext.create_dynamic_frame.from_catalog(database = "my_database", table_name = "my_table")

# 进行转换和处理
transformed_data = ApplyMapping.apply(frame = datasource, mappings = [("column1", "string", "new_column1"), ("column2", "int", "new_column2")])

# 将结果写入目标
glueContext.write_dynamic_frame.from_options(frame = transformed_data, connection_type = "s3", connection_options = {"path": "s3://my_bucket/my_output"}, format = "parquet")

job.commit()

2. Dev Endpoint 示例代码：

from pyspark.context import SparkContext
from pyspark.sql import SparkSession

# 初始化SparkSession和SparkContext
sc = SparkContext()
spark = SparkSession.builder.getOrCreate()

# 读取数据
df = spark.read.format("csv").option("header", "true").load("s3://my_bucket/my_input.csv")

# 进行转换和处理
transformed_df = df.select("column1", "column2").withColumnRenamed("column1", "new_column1").withColumnRenamed("column2", "new_column2")

# 将结果写入目标
transformed_df.write.format("parquet").save("s3://my_bucket/my_output")

这些示例代码演示了如何使用AWS Glue和Dev Endpoint进行数据转换和写入目标。您可以根据自己的需求和数据处理逻辑进行修改和扩展。