Hive 报错求助

This topic created in 1750 days ago, the information mentioned may be changed or developed.

我在进行聚合查询时 hive 报错，无论是 hiveserver 2 的方式还是直接 hive 命令行查询都是这样，检查了 hive 日志发现重要的错误是这个

正常的查询是可以的，应该就是出现在聚合查询的 shuffle 阶段出了问题

Container launch failed for container_1627546749978_0001_01_000005 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

我查了网上的解决方式一般是修改 yarn-site.xml 在重启 Hadoop，但是我的 yarn-site 应该没问题

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

请大神帮忙～

3 replies 2021-07-29 18:59:25 +08:00

CaptainD

Jul 29, 2021

补充一下，在 hiveserver2 的界面，stage 的 map 和 reduce 阶段都是 100%的，但是 Ended Job = XXX with errors

hive 版本：Hive 3.1.2
hadoop 版本：Hadoop 3.2.1

JKeita

Jul 29, 2021

用 spark 会不会好点

PinkPumpkin

Jul 29, 2021

重新格式化一下节点试试？或者 Hadoop 是不是在安全模式运行？
或者有可能是 Hive 和 Hadoop 版本不兼容（有时候官网的表格上说兼容，但是有的功能还是有 bug，我真遇到过这种情况，Hadoop 3.3.0 降级之后 bug 就没了）
Hadoop，Hive，Spark，Yarn，HBase，这几个真是我用过的各种程序里报错最多的一群贵物了。建议上云，用 Databricks 之类的平台省事好多。