当前位置：网站首页 > 技术博客 > 正文

简述hadoop原理及运行机制

技术博客 来源： 网络 编辑：小编 发布时间：2024-12-17 07:30:03 浏览量：22



Hadoop

运行原理

本篇将记录笔者学习

hadoop

有关的原理总结，将持续更新…

一.HDFS

该部分选自HDFS特性和常用功能

基本特点

高容错性,高吞吐量,适用于海量数据的可靠性存储和数据归档,对硬件性能要求低

HDFS设计目标

硬件失效

将硬件失效看作一种常态,健壮性,高可用.检查错误,快速和自动恢复是核心架构

流式访问

允许通过流的方式访问数据集,批量处理非交互,高吞吐量访问非低延迟

大数据集

支持PB级数据量,具有高带宽,可扩展到集群中

简单一致性模型

一次写入,多次读取,文件创建后无须

  • 上一篇： 华为产品ipd
  • 下一篇： gpeditmsc找不到

    • 版权声明：

    本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。


    本文网址：https://www.mushiming.com/mjsbk/6514.html

    相关文章：

  • 华为产品ipd2024-12-17 07:30:03
  • 函数已有主体是什么意思2024-12-17 07:30:03
  • left join or2024-12-17 07:30:03
  • java单元测试是什么2024-12-17 07:30:03
  • 数组指针和指针数组的定义2024-12-17 07:30:03
  • gpeditmsc找不到2024-12-17 07:30:03
  • 索引创建的目的2024-12-17 07:30:03
  • arm编译2024-12-17 07:30:03
  • 建模优化算法2024-12-17 07:30:03
  • java多态解释2024-12-17 07:30:03