`
landyer
  • 浏览: 138916 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

初学Hadoop

HadoopApache 
阅读更多

创建目录

hadoop dfs -mkdir 目录名（dfs也可以用fs代替）

列取目录

hadoop dfs -ls .（当前目录）

hadoop dfs -ls 目录名

从本地文件系统复制文件到DFS

hadoop dfs -copyFromLocal 源文件 目标文件

源文件默认从当前目录中读取，如果目标文件是相对路径则是保存在DFS的/user/root/目录下

从DFS复制文件到本地文件系统

hadoop fs -copyToLocal 源文件 目标文件

如果源文件是相对路径这是从DFS的/user/root/目录中取得，目标文件默认保存在当前目录中

在执行操作的时候经常会遇到如下错误：

org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode

表示命名节点此时处于安全模式

执行：bin/hadoop dfsadmin -safemode leave    即可解决

分享到：
| 基于Eclipse的Hadoop应用开发环境的配置
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    快速配置Hadoop开发环境 Win7+Eclipse&CentOS7+Hadoop2 5 1

    本文来自近一周从零开始摸索的操作的笔记 在此过程中得感谢XXTV 感谢互联网 整理出来一是自己备忘 二是希望能初学Hadoop的人一些参考 并节约宝贵时间 本文分两部分 第一部分为Hadoop2 5 1集群的架设 基于CentOS 7...

    Windows平台下Hadoop的Map/Reduce开发

    讲述了Windows平台的Hadoop安装... 最后，以最简单的求和为例，剖析Hadoop的Map/Reduce工作机制，对于初学Hadoop及Map/Reduce的读者有很大的帮助。相信通过最简单的求和为例，读者可步入Hadoop的Map/Reduce开发者行列。

    Hadoop测试题

    本文档是对自己学习hadoop的一个小测试，适合初学hadoop的人士观看。

    Data-intensive Systems: Principles and Fundamentals using Hadoop and Spark

    初学hadoop需要哪些技术基础? Data-intensive Systems: Principles and Fundamentals using Hadoop and Spark (Advanced Information and Knowledge Processing) By 作者: Tomasz – Wiktorski – Tomasz Wiktorski...

    初学Hadoop之图解MapReduce与WordCount示例分析

    Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是GoogleFileSystem（GFS）的开源实现。MapReduce是GoogleMapReduce的开源实现。HDFS和...

    hadoop0.20.2

    hadoop-0.20.2 这个是hadoop的老版本，如果正在初学hadoop的话，可以使用这个。我也正在用这个学习hadoop

    32位hadoop2.6.4

    centos6.5 32位下编译的，编译花了一下午时间，所以分享给那些初学hadoop的人

    hadoop-HA搭建+hbase.docx

    初学Hadoop时试验搭建很多次的集群部署方案，步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode

    Hadoop安装配置与部署运行

    适用于初学Hadoop，内容涵盖安装、配置、上手开发联系、Eclipse IDE及插件使用，并带有一个无Reduce和一个含Reduce样例。

    hadoop示例

    是初学hadoop的简单示例，已经跑通，可以直接连接hadoop使用

    Hadoop配置虚拟机静态IP(图形化和服务端配置).docx

    初学hadoop搭建集群的基础环境

    hadoop环境配置

    单机版hadoop,hbase,thrift,hive环境配置，初学hadoop的可以很好的在自己的hadoop环境下学习

    hadoop组件程序包.zip

    适合Hadoop初学者安装Hadoop

    Hadoop2.6.4集群搭建(初学)

    初学者使用(CentOS6.5)，内函配置服务器，配置ssh无密码访问，安装jdk，安装hadoop，配置hadoop

    hadoop入门实战

    hadoop入门实战手册,方便快速入门，想从事hadoop方面的初学者必备。

    hadoop几个实例

    网上很难找的hadoop代码，很适合初学或想从事大数据方向的程序猿，心动者赶紧下载。

    Hadoop海量数据处理

    Hadoop是目前最受关注的大数据处理平台和解决方案，并且已经广泛应用于生产环境。本书主要介绍Hadoop技术..., 本书由浅至深，从理论基础到项目实战，适合Hadoop的初学者阅读，也适合作为高等院校相关课程的教学参考书。

    Hadoop权威指南(中文版)

    Hadoop编程书籍，由浅入深，介绍Hadoop编程，特别适合初学者以及企业开发人员以及大学生以及其他深造学习者

Magicbox
Global site tag (gtag.js) - Google Analytics