Hadoop教程:HDFS概述

作者 : 开心源码 本文共975个字,预计阅读时间需要3分钟 发布时间: 2022-05-12 共148人阅读

Hadoop文件系统采用分布式文件系统设计开发。它在普通硬件上运行。与其余分布式系统不同,HDFS具备很高的容错性,并且使用低成本的硬件进行设计。

HDFS存储大量数据并提供更容易的访问。为了存储如此巨大的数据,文件被存储在多台机器上。这些文件以冗余的方式存储,以便在发生故障时将系统从可能的数据损失中拯救出来。HDFS还使应用程序可用于并行解决。

HDFS的特点

  • 适用于分布式存储和解决。
  • Hadoop提供了一个与HDFS交互的命令接口。
  • namenode和datanode的内置服务器可以方便地检查集群的状态。
  • 对文件系统数据的流访问。
  • HDFS提供文件权限和身份验证。

HDFS架构

下面给出Hadoop文件系统的架构。

hdfs_architecture.jpg

HDFS遵循主从体系结构,它具备以下元素。

Namenode

namenode是包含GNU/Linux操作系统和namenode软件的商品硬件。它是一种可以在普通硬件上运行的软件。具备namenode的系统充任主服务器,它执行以下任务:

  • 管理文件系统名称空间。
  • 管理用户对文件的访问。
  • 它还执行文件系统操作,如重命名、关闭和打开文件和目录。

Datanode

datanode是一种具备GNU/Linux操作系统和datanode软件的普通硬件。对于集群中的每个节点(商品硬件/系统),都将有一个datanode。这些节点管理其系统的数据存储。

  • 数据节点根据用户端请求在文件系统上执行读写操作。
  • 它们还根据namenode的指令执行块创立、删除和复制等操作。

Block

客户数据一般存储在HDFS文件中。文件系统中的文件将被分成一个或者多个段和/或者存储在单个数据节点中。这些文件段称为块。换句话说,HDFS可以读写的最小数据量称为块。默认块大小为64MB,但是可以根据需要在HDFS配置中进行更改而添加。

HDFS的目标

  • 故障检测与恢复: 因为HDFS包含大量的商用硬件,部件故障频繁。因而,HDFS应该具备快速、自动的故障检测和恢复机制。
  • 海量的数据集: HDFS每个集群应该有数百个节点,以管理拥有庞大数据集的应用程序。
  • 硬件在数据上 当计算发生在数据周围时,可以有效地完成请求的任务。特别是在涉及到大量数据集的情况下,它会减少网络流量并添加吞吐量。

原文链接:https://www.tutorialspoint.com/…

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Hadoop教程:HDFS概述

发表回复