AWSEMR-Sparksubmitpysparkjobwith--archiveincludingtheentrypoint
创始人
2024-09-25 09:31:32
0次
在AWS EMR上，可以使用以下代码来在pyspark中提交作业并包含entrypoint:
spark-submit --master yarn --deploy-mode client --archives s3://mybucket/myarchives.zip#myarchives --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./myarchives/myenv/bin/python myscript.py arg1 arg2
其中，s3://mybucket/myarchives.zip#myarchives是你的存档文件路径，./myarchives/myenv/bin/python是要使用的Python环境的路径，myscript.py是要运行的脚本，arg1和arg2是要传递给脚本的参数。
通过这个方法，可以在集群上运行自己的Python包或库。
相关内容
热门资讯
玩家必看攻略！新上游辅助反杀，...
玩家必看攻略！新上游辅助反杀，哈糖大菠萝诀窍，系统教程（有挂辅助）-哔哩哔哩;1、点击下载安装，哈糖...
传递经验！约战武汉怎么辅助，新...
传递经验！约战武汉怎么辅助，新星游辅助软件免费版，AI教程（有挂技巧）-哔哩哔哩；1.新星游辅助软件...
透视模拟器！鄱阳翻精辅助下载，...
透视模拟器！鄱阳翻精辅助下载，微乐家乡app插件，AI教程（有挂技术）-哔哩哔哩;鄱阳翻精辅助下载是...
玩家必知教程！上饶窝龙辅助，聚...
玩家必知教程！上饶窝龙辅助，聚财app辅助，AA德州教程!（存在有挂）-哔哩哔哩；小薇（透视辅助）致...
教学盘点！丫丫衡阳字牌辅助器，...
教学盘点！丫丫衡阳字牌辅助器，菜鸟黑桃a3辅助，wepoke教程（真是有挂）-哔哩哔哩;1、超多福利...
分享给玩家！柚子联盟辅助器下载...
分享给玩家！柚子联盟辅助器下载，新海贝之城app破解，技巧教程（证实有挂）-哔哩哔哩;是一款可以让一...
透视计算！开心网辅助工具，乾坤...
透视计算！开心网辅助工具，乾坤互娱辅助，辅助教程（确实有挂）-哔哩哔哩;1、点击下载安装，开心网辅助...
透视有挂！雀友会广东潮汕麻雀，...
透视有挂！雀友会广东潮汕麻雀，心悦填大坑辅助，攻略教程!（存在有挂）-哔哩哔哩；雀友会广东潮汕麻雀软...
透视线上！川南九九辅助，新广西...
透视线上！川南九九辅助，新广西老友辅助，AI教程（有挂秘籍）-哔哩哔哩；详细新广西老友辅助攻略（新广...
透视软件！光明大厅微信呢链接辅...
透视软件！光明大厅微信呢链接辅助试用，阿拉游戏中心辅助，曝光教程（新版有挂）-哔哩哔哩；致您一封信；...