在 EMR 集群中的 Spark 配置中添加 AWS Code Artifact 作为 Python 包的源，以便 PySpark 在运行时可以找到所需的库。

示例代码：

在 EMR 集群中的 Spark 配置文件中添加以下配置：

sudo nano /etc/spark/conf/spark-env.sh

在该文件中添加以下内容：

export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

# Add AWS CodeArtifact as Python package source
export PYTHONPATH=$PYTHONPATH:/usr/local/lib/python3.7/dist-packages
export AWS_REGION="us-east-1"
export AWS_DOMAIN="my-domain"
export AWS_REPO="my-repo"
export AWS_CODEARTIFACT_AUTH_TOKEN="$(aws codeartifact get-authorization-token --domain $AWS_DOMAIN --domain-owner $AWS_ACCOUNT --query authorizationToken --output text)"
export PIP_EXTRA_INDEX_URL=https://${AWS_DOMAIN}-${AWS_REGION}.d.codeartifact.${AWS_REGION}.amazonaws.com/pypi/${AWS_REPO}/simple/
export PIP_USE_FEATURE=2020-resolver

其中，AWS_REGION、AWS_DOMAIN 和 AWS_REPO 变量需要替换为实际的值。AWS_ACCOUNT 变量可以使用以下命令获取：

aws sts get-caller-identity --query Account --output text

设置完后，保存文件并重启 Spark。

sudo systemctl restart spark

然后，你就可以使用 AWS Code Artifact 中的 Python 模块了。例如：

from awswrangler import s3

df = s3.read_csv('s3://my-bucket/my-file.csv')
df.show()