某文件32m，hdfs存储文件导hdfs上，总共会占多少hdfs存储文件空间

点击联系发帖人 时间：2016-12-26 09:41
hdfs存储文件

HDFS不适合大量小文件的hdfs存储文件洇namenode将文件系统的元数据存放在内存中，因此hdfs存储文件的文件数目受限于 namenode的内存大小HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存

运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别所以，HDFS被调整成支持大文件它应该提供很高的聚合数据带宽，一个中支持数百个一个集群中还应该支持千万级别的文件。

因为hdfs里面数据是分块hdfs存储文件的一个块可能是64m，128m，一个小文件就占一个块的hdfs存储文件空间比较浪费资源

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底層细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和hdfs存储文件Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS

联盟链这个選项有问题吧，hadoop只能算是分布式集群框架可以用来支持搭建联盟链。但是hadoop怎么也算不上是联盟链吧

}

我要回帖

更多关于 hdfs存储文件 的文章

更多推荐

版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。

点击添加站长微信