1. 确认您的数据存储在 AWS S3 上，而不是本地或其他位置。AWS Glue 执行作业时需要将数据检索到自己的内部网络中，因此将数据存储在 S3 中可以减少数据传输时间并提高作业性能。
2. 如果您使用的是 Gzip 格式，请考虑使用 Snappy 或 Bzip2 格式，因为写入 Gzip 格式的文件可能需要更长的时间。
3. 在 Python 脚本中使用 Pandas 和 pyarrow 节约 CPU 和内存使用。以下是建议使用的代码:

import pandas as pd
import pyarrow as pa
from awsglue.dataframe_implicit_serializer import GlueSerializer

// 数据框 to S3
DataFrame.to_parquet('s3://path/to/output', compression='snappy', index=False, serializer=GlueSerializer())

// S3 to 数据框
temp = pd.concat([pd.read_parquet(pf) for pf in files])
df = temp.copy()
del temp

这些调整应该会显着减少写入时间。