HDFS常见命令


Hadoop Distributed File System (HDFS) 是一个分布式文件系统,设计用于运行在商用硬件上。它是Apache Hadoop项目的一部分。对于HDFS,存在几种图形用户界面(GUI)客户端,可以帮助用户更容易地管理和操作HDFS,包括浏览文件系统、上传和下载文件、以及管理文件和目录。以下是一些较为知名的HDFS图形客户端:

  1. Hue - Hue 是一个开源的 Web 界面,支持浏览HDFS,运行和调度作业,查询数据等。Hue 集成了许多Hadoop生态系统中的组件,如 Hive、Pig、Impala 和其他服务,提供了一个用户友好的界面来交互这些服务。

  2. HDFS Explorer - HDFS Explorer 是一个简单的桌面应用程序,提供类似于Windows资源管理器或MacOS Finder的界面来浏览和管理HDFS上的文件和文件夹。用户可以通过拖放文件进行上传或下载。

  3. Ambari - Apache Ambari 是一个用于管理、配置和监控Hadoop集群的Web应用程序。Ambari 提供了一个简单的Web界面,通过Ambari Files View可以浏览、上传和下载HDFS中的文件。

  4. Cloudera Manager - 对于使用Cloudera发行版的用户,Cloudera Manager提供了一个全面的管理界面,包括对HDFS的图形管理工具。用户可以通过Web界面轻松访问、管理和配置HDFS。

  5. Apache Hadoop HDFS UI - Apache Hadoop自带了一个简单的Web界面来浏览HDFS文件系统。它是Hadoop自带的一部分,可以通过访问NameNode的Web UI来使用。

HDFS命令以hadoop fs开头,后跟各种选项来执行文件系统操作,如列出文件、复制文件、移动文件等。

这里是一些基本的步骤和命令示例来帮助你开始使用HDFS命令行工具:

基本命令

  • 查看根目录下的文件和目录:

    hadoop fs -ls /
  • 查看指定目录下的文件和目录:

    hadoop fs -ls /user/hadoop
  • 创建一个新目录:

    hadoop fs -mkdir /user/hadoop/newdir
  • 上传文件到HDFS:

    hadoop fs -put localfile.txt /user/hadoop/newdir
  • 从HDFS下载文件:

    hadoop fs -get /user/hadoop/newdir/remotefile.txt ./localdir
  • 删除HDFS上的文件:

    hadoop fs -rm /user/hadoop/newdir/remotefile.txt
  • 删除HDFS上的目录:

    hadoop fs -rm -r /user/hadoop/newdir

文章作者: AWS Learner
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 AWS Learner !
评论
  目录