`
justinyao
  • 浏览: 39697 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

jps命令不能查看hadoop进程

 
阅读更多

       今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的.

       网上也没找到解决方案,最后发现是因为linux下的tmpwatch把/tmp目录的一个特殊文件删除了(定时清理),这个文件保存的是用户启动进程的pid信息.解决方法是修改相关文件,防止/tmp目录的一些文件被删除:

1切换root

2.编辑tmpwatch文件

vi /etc/cron.daily/tmpwatch 

 3.插入 -X '/tmp/hsperfdata_*' 10d /tmp , -X 是表示不删除某目录

flags=-umc
/usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \
        -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix 240 /tmp \
        -X '/tmp/hsperfdata_*' 10d /tmp
/usr/sbin/tmpwatch "$flags" 720 /var/tmp
for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do
    if [ -d "$d" ]; then
        /usr/sbin/tmpwatch "$flags" -f 720 "$d"
    fi
done

  

 4.重启一下机器,问题解决.

 

启动hadoop. jps能看到相关的hadoop进程了.

 

摘自网上:

写道

java程序启动后,默认(请注意是默认)会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件,并在该文件中存储jvm运行的相关信息,其中的userName为当前的用户名,/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。对于windows机器/tmp用Windows存放临时文件目录代替。

 

 

ps:我使用的是redhat5系统,之前使用centos系统没出现过这个问题,不知是否跟系统有关.

 

分享到:
评论

相关推荐

    jps判断hadoop启动是否成功

    jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。

    Hadoop的jps和其他命令的脚本

    用于查询所有节点的jps或者集体执行某个命令,如关机,如重启,如删除文件

    Linux 下java jps命令使用解析详解

    jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 使用 先执行jps –help 查看一下此...

    shell脚本执行jps时:-bash: jps: command not found

    我们一定会写一个shell脚本去每一个节点上去jps,查看每个节点的进程情况。 原先以为shell很简单: #!/bin/bash #查看每个节点运行情况 for((host=101;host<108;host++));do echo -----------hadoop$host--------...

    hadoop安装

    在所有节点查看进程状态验证启动 [hadoop@a1 hadoop-0.20.2-cdh3u5]$ jps 8602 JobTracker 8364 NameNode 8527 SecondaryNameNode 8673 Jps [hadoop@a2 hadoop-0.20.2-cdh3u5]$ jps 10806 Jps 10719 TaskTracker ...

    tomcat解决JPS不可用的问题

    编译安装JDK以后,如果原来的openjdk 没有卸载完毕,就会存在两个jvm虚拟机,需要定义以下默认的jvm。

    大数据运维技术第5章 Hadoop集群运行课件.pptx

    Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;...[hadoop@master hadoop]$ jps 34257 NameNode 34449 SecondaryNameNode 34494 Jp

    jps脚本 shell脚本

    在一个集群非常大的情况下,如果想要查看单个主机在运行哪些java进程。我们可以去到每个主机下,使用jps命令。可是这种方法太过低效。我们可以使用一个shell脚本来完成此命令。查看进程 jps脚本 提前配置免密

    已过基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载)

    基于Hadoop+Spark招聘推荐可视化系统 后台:springboot 推荐模块:spark als模型 大数据、Hadoop、spark ...jps : 查看进程 3216 NodeManager 2554 NameNode 9531 Jps 2669 DataNode 3101 ResourceManager 2878 S

    网络前沿技术 Hadoop

    Step9: 解决jps命令没有namenode或datanode 22 1.4【实验结果】 24 1.5【实验总结】 26 实验2:HDFS实验 28 2.1【实验目的】 28 2.2【实验环境】 28 2.3【实验过程】 28 Step1: 启动Hadoop. 28 Step2: 学习HDFS基本...

    Hadoop集群搭建指南.pdf

    要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个...格式化namenode十、 启动hadoop十一、 用jps检验各后台进程是否成功启动十二、 通过网站查看集群情况

    Apriori_java_MR.zip

    基于Hadoop的MapReduce并行apriori算法,实验设计在3台虚拟机上,搭建步骤:(1) 虚拟机上安装ubuntu系统,安装JDK、SSH、Hadoop。 (2) 配置JDK、Hadoop...(7) 运行结束使用hadoop fs -cat /output命令查看结果。

    实验一Hadoop大数据集群搭建

    5. 成功启动集群,且可通过jps命令查看各个虚拟机上活跃的节点(与实验要求一致),并可以正常访问对应的web页面。 以上实验要求均完美实现,且对每一步操作做了详细的截图和文字记录,细致入微。

    hadoop-2.4.1安装软件包以及教程jdk.zip

    使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.101:50070 (HDFS管理界面) ...

    hadoop分布式配置.docx

    利用sbin/start-dfs.sh 或者sbin/start-all.sh查看hadoop平台是否搭建成功,搭建成功提示,需要在三台虚拟机分别查看进程是否启动正常,其中,master节点启动三个进程(包括jps)

    kotlin-jps-plugin.jar

    kotlin-jps-plugin.jar

    JPS(Jump Point Search)A*跳点搜索

    JPS算法的实现!(C#版本)

    大数据hadoop,centos7的安装

    安装成功后,启动hdfs 格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format ... jps DataNode SecondaryNameNode NameNode 浏览器访问方式: http://hadoop000:50070

Global site tag (gtag.js) - Google Analytics