变成力不能及选取调整去定期实践MapReduce作业

发布时间:2019-11-26  栏目:科技研讨  评论:0 Comments

原标题:通过轻便塑身,清除Dataworks 10M文书限定难点

摘要:
顾客在DataWorks上施行MapReduce作业的时候,文件大于10M的JA汉兰达和能源文件不可能上传到Dataworks,引致心有余而力不足使用调解去定时执行MapReduce作业。
应用方案: jar -resources test_mr.

客户在DataWorks上试行MapReduce作业的时候,文件大于10M的JAEnclave和能源文件无法上传到Dataworks,引致不能够使用调解去准期施行MapReduce作业。

解决方案:

第一步:大于10M的resources通过马克斯Compute CLI客商端上传,

客商端下载地址:

客商端配置AK、EndPoint:

add jar C:test_mrtest_mr.jar -f;//增多能源

其次步:目前透过马克斯Compute
CLI上传的能源,在Dataworks侧面财富列表是找不到的,只好通过list
resources查看确认财富;

list resources;//查看财富

其三步:瘦腿Jar,因为Dataworks实施MXC90作业的时候,必要求本地推行,所以保留个main就足以;

图片 1

经过上述措施,我们能够在Dataworks上跑大于10M的M奥迪Q3作业。

作者:隐林

​本文为云栖社区原创内容,未经同意不得转发。回来天涯论坛,查看越多

责编:

留下评论

网站地图xml地图