# 集群使用 ## 集群创建好后，我该怎么使用？ \- 如果已购买同一可用区下带有外网IP的UHost，可登陆UHost，再通过ssh方式连接集群任一节点的内网IP。 详见：[我的主机只有内网IP，可以通过哪些方式访问这台机器呢？](/docs/unet/faq/access#%e6%88%91%e7%9a%84%e4%b8%bb%e6%9c%ba%e5%8f%aa%e6%9c%89%e5%86%85%e7%bd%91ip%ef%bc%8c%e5%8f%af%e4%bb%a5%e9%80%9a%e8%bf%87%e5%93%aa%e4%ba%9b%e6%96%b9%e5%bc%8f%e8%ae%bf%e9%97%ae%e8%bf%99%e5%8f%b0%e6%9c%ba%e5%99%a8%e5%91%a2%ef%bc%9f) \- 将集群的master节点绑定外网IP，ssh连接此外网IP。集群节点上可直接使用hdfs、hive、hbase、spark相关命令。 ## 提交的任务跑失败了，我需要怎样查看任务日志？ \- 通过浏览器连接绑定在master1/master2上的外网IP的23188端口查看任务详情（需将所绑定的外网防火墙开放23188端口） \- 通过Hue页面查看任务详情 \- 任务的日志默认存储在hdfs的/var/log/hadoop-yarn/apps/\[submintuser\]/logs（submituser为提交任务的用户名），可通过web方式查看hdfs文件，或通过hdfs命令将相应Job日志下载到本地查看 ## 客户端提交任务时，提示UnkownHostException，如何处理？ 集群节点间默认使用Hostname的方式通信，需要将master1的/etc/hosts中关于uhadoop节点的host拷贝到其它节点本地的/etc/hosts中 ## 我收到了磁盘告警通知，磁盘使用率大于95%，该怎么处理？ 首先确认是系统盘还是数据盘告警。系统盘告警的请在/目录下执行 du --max-depth=1 -h,数据盘告警请在/data目录下执行，可深入一层层查看具体哪个文件占用了空间，做下清除即可 ## HDFS满了，我收到了HDFS使用告警通知，HDFS使用率大于80%，该怎么处理？ 首先登录master1节点，切换到hadoop用户，执行 hadoop fs -du -h / 查看哪个目录占用较大。 如果是/var目录，可继续执行hadoop fs -du -h /var/log 查看；若查看是 /var/log/hadoop-yarn/, 可以根据自己的需求在控制台修改这两个参数，需要重启集群 ``` yarn.log-aggregation.retain-seconds （保存时长，建议值：2592000, 即30天） yarn.log-aggregation.retain-check-interval-seconds （检查周期：86400，即1天） ``` 如果是/var/log/spark目录，一般是spark任务日志堆积，暂未能自动清理，可通过以下方式解决 在/etc/cron.daily/下创建clear-spark-logs.sh文件，并给设置权限 chmod 777 /etc/cron.daily/clear-spark-logs.sh 第一次可通过执行 sh /etc/cron.daily/clear-spark-logs.sh手动清理，后面每天会自动 ``` #!/bin/bash # 删除过期数据（默认30天） days=30 old_file_list=$(hadoop fs -ls /var/log/spark/ | awk 'BEGIN{ days_ago=strftime("%F", systime()-"'$days'"*24*3600) }{ split($8,arr,"/"); if(arr[7]