今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的.
网上也没找到解决方案,最后发现是因为linux下的tmpwatch把/tmp目录的一个特殊文件删除了(定时清理),这个文件保存的是用户启动进程的pid信息.解决方法是修改相关文件,防止/tmp目录的一些文件被删除:
1切换root
2.编辑tmpwatch文件
vi /etc/cron.daily/tmpwatch
3.插入 -X '/tmp/hsperfdata_*' 10d /tmp , -X 是表示不删除某目录
flags=-umc /usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \ -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix 240 /tmp \ -X '/tmp/hsperfdata_*' 10d /tmp /usr/sbin/tmpwatch "$flags" 720 /var/tmp for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do if [ -d "$d" ]; then /usr/sbin/tmpwatch "$flags" -f 720 "$d" fi done
4.重启一下机器,问题解决.
启动hadoop. jps能看到相关的hadoop进程了.
摘自网上:
写道
java程序启动后,默认(请注意是默认)会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件,并在该文件中存储jvm运行的相关信息,其中的userName为当前的用户名,/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。对于windows机器/tmp用Windows存放临时文件目录代替。
ps:我使用的是redhat5系统,之前使用centos系统没出现过这个问题,不知是否跟系统有关.
相关推荐
jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。
用于查询所有节点的jps或者集体执行某个命令,如关机,如重启,如删除文件
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 使用 先执行jps –help 查看一下此...
我们一定会写一个shell脚本去每一个节点上去jps,查看每个节点的进程情况。 原先以为shell很简单: #!/bin/bash #查看每个节点运行情况 for((host=101;host<108;host++));do echo -----------hadoop$host--------...
在所有节点查看进程状态验证启动 [hadoop@a1 hadoop-0.20.2-cdh3u5]$ jps 8602 JobTracker 8364 NameNode 8527 SecondaryNameNode 8673 Jps [hadoop@a2 hadoop-0.20.2-cdh3u5]$ jps 10806 Jps 10719 TaskTracker ...
编译安装JDK以后,如果原来的openjdk 没有卸载完毕,就会存在两个jvm虚拟机,需要定义以下默认的jvm。
Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;...[hadoop@master hadoop]$ jps 34257 NameNode 34449 SecondaryNameNode 34494 Jp
在一个集群非常大的情况下,如果想要查看单个主机在运行哪些java进程。我们可以去到每个主机下,使用jps命令。可是这种方法太过低效。我们可以使用一个shell脚本来完成此命令。查看进程 jps脚本 提前配置免密
基于Hadoop+Spark招聘推荐可视化系统 后台:springboot 推荐模块:spark als模型 大数据、Hadoop、spark ...jps : 查看进程 3216 NodeManager 2554 NameNode 9531 Jps 2669 DataNode 3101 ResourceManager 2878 S
Step9: 解决jps命令没有namenode或datanode 22 1.4【实验结果】 24 1.5【实验总结】 26 实验2:HDFS实验 28 2.1【实验目的】 28 2.2【实验环境】 28 2.3【实验过程】 28 Step1: 启动Hadoop. 28 Step2: 学习HDFS基本...
要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个...格式化namenode十、 启动hadoop十一、 用jps检验各后台进程是否成功启动十二、 通过网站查看集群情况
基于Hadoop的MapReduce并行apriori算法,实验设计在3台虚拟机上,搭建步骤:(1) 虚拟机上安装ubuntu系统,安装JDK、SSH、Hadoop。 (2) 配置JDK、Hadoop...(7) 运行结束使用hadoop fs -cat /output命令查看结果。
5. 成功启动集群,且可通过jps命令查看各个虚拟机上活跃的节点(与实验要求一致),并可以正常访问对应的web页面。 以上实验要求均完美实现,且对每一步操作做了详细的截图和文字记录,细致入微。
使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.101:50070 (HDFS管理界面) ...
利用sbin/start-dfs.sh 或者sbin/start-all.sh查看hadoop平台是否搭建成功,搭建成功提示,需要在三台虚拟机分别查看进程是否启动正常,其中,master节点启动三个进程(包括jps)
kotlin-jps-plugin.jar
JPS算法的实现!(C#版本)
安装成功后,启动hdfs 格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format ... jps DataNode SecondaryNameNode NameNode 浏览器访问方式: http://hadoop000:50070