宜宾网站建设公司

Hadoop分布式文件系统中的HDFS是什么

这期内容当中小编将会给大家带来有关Hadoop分布式文件系统中的HDFS是什么，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

创新互联公司专注于邻水网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供邻水营销型网站建设，邻水网站制作、邻水网页设计、邻水网站官网定制、成都小程序开发服务，打造邻水网络公司原创品牌,更为您提供邻水网站排名全网营销落地服务。

HDFS设计

  • 超大文件 PB 级

  • 流式数据访问

    • 一次写入，多次读取是最高效的访问模式

  • 商用硬件 （不需要高昂且高可用的硬件）

    • 节点故障率较高，某些应用不适合

  • 低时间延迟的数据访问

    • 要求低时间延迟的数据访问，例如几十毫秒范围不适合在HDFS上运行

  • 大量的小文件

    • namenode 将文件系统的元数据存储在内容中，因此该文件系统所能存储的文件总数受限于 namenode 的内存容量

    • 根据经验 每个文件、目录和数据块的存储信息大约占150字节

  • 多用户写入，任意 修改文件

    • HDFS中的文件只支持单个写入者，而且写操作总是以“只添加”方式在文件末尾写数据，它不支持多个写入者的操作，也不支持在文件的任意位置进行修改。

HDFS概念

  • 数据块 默认128mb

  • HDFS 小于一个块大小的文件不会占据整个块的空间

hdfs fsck / -files -blocks

  • namenode 和datanode

    • 1.备份那些组成文件系统元数据持久状态的文件,一般的配置是，将持久状态写入本地磁盘的同时，写入NFS

    • 运行辅助namenode 一般在单独的物理机运行。主节点挂了之后，启用辅助节点不能保证数据完整性

    • namenode 管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode 也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息会在系统启动时根据数据节点信息重建。

    • datanode 根据需要存储并检索数据块，并且定期向namenode发送它们所存储的块的列表

    • namenode 容错机制

  • 块缓存

    • 默认 一个块缓存在一个datanode的内存中

    • 提高读 的性能

    • 缓存池

  • 联邦HDFS

    • 联邦HDFS 允许系统通过添加namenode 实现扩展

    • 每个namenode 管理文件系统命名空间的一部分

    • 两两之间互不通信

  • HDFS 的高可用

    • namenode 之间需要通过高可用共享存储实现编辑日志的共享

    • datanode 需要同时向两个namenode 发送数据块处理报告，因为数据块的映射信息存储在namenode 内存中，而非磁盘

    • 客户端需要使用特定的机制来处理namenode 的失效问题，这一机制对用户是透明的

    • 辅助namenode的角色被备用namenode所包含

    • 共享存储的选择 NFS或群体日志管理器(QJM)

    • 故障切换与规避

    • 撤销namenode 访问共享存储目录的权限

    • 屏蔽网络端口

    • 断电等等...

    • 备份namenode 的方式无法实现高可用

    • HA 的架构支持

命令行接口

  • namenode 运行端口8020

  • 从本地copy 文件到 hdfs /user/hadoop/ 目录下

hadoop fs -copyFromLocal max_temperature.sh a.sh

  • 把文件复制回本地文件系统

hadoop fs -copyToLocal a.sh my.sh

md5sum max_temperature.sh my.sh

  • 新建目录

hadoop fs -mkdir books

hadoop fs -ls .

  • 默认情况下 安全措施处于停用状态，生产环境应该启用 dfs.premissions.enabled

  • 对文件而言 执行权限没有意义

hadoop 文件系统

  • HDFS 只是其中一种实现

  • Hadoop 文件系统 Local,HDFS,WebHDFS,Secure WebHDFS, HAR, View, FTP, S3, Azure, Swift

  • 列出本地文件系统根目录下的文件 hadoop fs -ls file:///

  • 尽管运行的MapReduce 程序可以访问任何文件系统，但在处理大数据集的时候，建议还是选择一个有数据本地化优势的分布式文件系统，如HDFS

  • 接口

    • 用户控件文件系统， 允许将用户空寂那实现的文件系统作为Unix 文件系统进行集成。

    • 通过使用Fuse-DFS 模块，HDFS均可以作为一个标准的本地文件系统进行挂载。

    • NFS 网关是更好的方案，应该选择

    • 使用hadoop 的NFSv3 网关将HDFS挂载为本地客户端的文件系统是可行的。

    • 可以使用Unix程序与该文件系统交互

    • HDFS仅能以追加模式写文件，因此可以往文件末尾添加数据，但不能随机修改文件

    • HTTP接口比原生的Java客户端要慢，不要用它来传出特大数据

    • 访问方式 直接访问（namenode 和 datanode 内嵌的 web服务器作为 WebHDFS 的端节点运行 dfs.webhdfs.enabled 设置为true）

    • 通过代理访问

    • HttpFS代理提供和 WebHDFS 相同的HTTp接口 使用httpfs.sh 脚本

    • HTTP

    • c 语言（libhdfs,libwebhdfs）底层代码都是java

    • NFS

    • FUSE

  • java接口

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar URLCat hdfs:///user/hadoop/output/part-r-00000

    public class FileSystemCat {
   public static void main(String[] args) throws Exception {
      String uri = args[0];
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(URI.create(uri), conf);
      InputStream in = null;
      try {
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4096, false);
      } finally {
            IOUtils.closeStream(in);
      }
   }
}

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemCat hdfs:///user/hadoop/output/part-r-00000

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemDoubleCat hdfs:///user/hadoop/output/part-r-00000

    • 新建文件

    • FSDataOutputStream

    • 目录 public boolean mkdirs(Path f) throws IOException

    • 查询文件系统

    • FileStatus 类封装了文件系统中文件和目录的元数据

    • public boolean exists(Path f) throws IOException

    • 写入数据

         FSDataOutputStream create(FileSystem fs,Path file, FsPermission permission) throws IOException

   FSDataOutputStream append(Path f) throws IOException

   //代码
    String localSrc = args[0];
  String dst = args[1];
  InputStream in = new BufferedInputStream(new FileInputStream(localSrc));

  Configuration conf = new Configuration();
  FileSystem fs = FileSystem.get(URI.create(dst), conf);
  OutputStream out = fs.create(new Path(dst), new Progressable() {
      public void progress() {
          System.out.println(".");
      }
  });
  IOUtils.copyBytes(in, out, 4096, false);

    • FSDataInputStream seek（）是一个相对高开销的操作,需要谨慎使用，建议用流数据来构建应用的访问模式，而非执行大量的seek()方法 hadoop jar hadoopdemo-1.0-SNAPSHOT.jar FileSystemDoubleCat hdfs:///user/hadoop/output/part-r-00000

    • 通过 FileSystem

    • 通过URL读取数据 FsUrlStreamHandlerFactory IOUtils

上述就是小编为大家分享的Hadoop分布式文件系统中的HDFS是什么了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联行业资讯频道。


当前名称：Hadoop分布式文件系统中的HDFS是什么
本文来源：http://hbruida.cn/article/pcojoc.html

其他资讯