`
justinyao
  • 浏览: 39699 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop自带的wordcount

 
阅读更多

1、通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount

 

2、通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:bin/hadoop fs -copyFromLocal /home/grid/word.txt  /tmp/wordcount/word.txt

 

3、通过命令运行例子,使用命令如下:bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt  /tmp/wordcount/out

 

4、查看运行结果,使用命令: bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果,发现有两个文件夹和一个文件,使用命令查看part-r-00000文件, bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。

分享到:
评论

相关推荐

    hadoop运行wordcount实例

    包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤

    ubuntu运行hadoop的wordcount

    ubuntu上面运行hadoop自带的wordcount实例

    hadoop——wordcount

    代码啊代码,活生生的代码啊,不是我写的是hadoop自带的代码啊

    hadoop的wordcount实例代码

    主要介绍了hadoop的wordcount实例代码,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下

    单词统计WordCount-hadoop程序

    wordcount单词统计,hadoop程序,可直接放在hadoop环境中运行

    实验项目 MapReduce 编程

    3. 查看 Hadoop 自带的 MR-App 单词计数源代码 WordCount.java,在 Eclipse 项目 MapReduceExample 下建立新包 com.xijing.mapreduce,模仿内置的 WordCount 示例,自己编写一个 WordCount 程序,最后打包成 JAR ...

    wordcount:使用Java的Hadoop MapReduce单词计数

    字数 使用Java的Hadoop MapReduce字数统计 运行: hadoop jar wordcount.jar "input_folder" "output_folder" “ input_folder”和“ output_folder”是HDFS上的文件夹。

    WordCount详解

    WordCount是Hadoop自带的亦例程序之一,整个程序虽然简单却涵盖了 MapReduce 的最基本使用方法。一般我们学习一门程序设计语言,最开始上手的程序都是“HelloWorld”, 可以说 WordCount 就是学习掌握 Hadoop ...

    Linux虚拟机上Hadoop伪分布式安装方法及实例检测

    1.本机已安装好 VMware Workstation Pro 虚拟机,及 Ubuntu 版本的 Linux 系统。 2.进行 Hadoop 伪分布式安装。 3.运行 Hadoop 自带的 WordCount 实例检测是否运行正常。

    Spark:用Scala和Java实现WordCount

    其中Java实现的JavaWordCount是spark自带的例子($SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java)OS:RedHatEnterpriseLinuxServerrelease6.4(Santiago)Hadoop:Hadoop2.4.1JDK:1...

    ubuntu10.04下面安装单机版的Hadoop

    文档中详细阐述了如何在ubuntu10.04下安装Hadoop的过程,包括安装的一些准备工作,如JDK的安装,SSH的安装等。...最后,文档实验了hadoop自带的两个例子,一个是grep类的实现,一个是wordcount类的实现。

    Hadoop大数据处理实战

    Hadoop的基础内容 一.搭建hadoop分布式环境 二.eclipse/IDEA配置开发环境并实现wordcount 程序...1.演示Hadoop自带的单词统计程序 2.使用eclipse开发工具新建Map/Reduce项目“WordCount“单词统计 3.在虚拟机上部署hive

    hadoop worcount实验

    本实验描述了在hadoop下使用MapReduce编程,实现自带的例子wordcount。描述了编程流程

    在VMWare Workstation上安装和配置Hadoop群集环境

    6,运行框架自带的wordcount程序.pdf 适用人群:大数据开发 使用场景:Hadoop学习;HDFS学习;Mapreduce学习; 预期目标:通过学习,能快速完成工作和生产任务,解决相关问题,精通大数据开发流程。

    2023年广工虚拟化与云计算实验报告

    实现了MapReduce并行计算程序编程,官方自带的WordCount案例。附录记录了CentOS6.8虚拟机的安装及配置。 2、相关软件和安装包已经上传至百度网盘。 链接:...

    实验8 Flink初级编程实践

    使用Linux操作系统自带的NC程序模拟生成数据流,不断产生单词并发送出去。编写Fink程序对NC程序发来的单词进行实时处理,计算词频,并输出词频统计结果。要求首先在IntelliJ IDEA中开发和调试程序,然后打包成JAR包...

    【1】MapReduce概述

    MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。 2.优缺点 优点: (1)MapReduce易于编程 (2)良好的扩展性 (3)高容错性 (4)适合PB...

Global site tag (gtag.js) - Google Analytics