AWS Glue是一种用于提取、转换和加载(ETL)数据的完全托管的服务。如果在使用AWS Glue Python脚本时遇到内存错误,可以尝试以下解决方法:
--job-bookmark-option job-bookmark-enable
--job-language python
--additional-python-modules pandas,numpy
--job-name my-glue-job
--glue-version 1.0
--job-args '{
"--job-name": "my-glue-job",
"--TempDir": "s3://aws-glue-temporary-/temp",
"--glue.job.memoryOverride": "8192"
}'
在上述示例中,将内存限制设置为8 GB。
--job-bookmark-option job-bookmark-enable
--job-language python
--additional-python-modules pandas,numpy
--job-name my-glue-job
--glue-version 1.0
--job-args '{
"--job-name": "my-glue-job",
"--TempDir": "s3://aws-glue-temporary-/temp",
"--glue.job.runAllocatedCapacity": "4"
}'
在上述示例中,将实例规格设置为4个计算单位。
通过增加内存限制、优化代码或增加实例规格,您应该能够解决AWS Glue Python内存错误。