大数据意味着数据的增长超过了其本身的基础架构,这驱动着应对这些特殊挑战的存储、网络和计算系统进一步的发展。软件应用需求终推动了硬件功能的发展,同时在这种情况下,大数据分析的处理过程正在影响着数据存储基础架构的发展。这对于存储和IT基础架构企业而言是一项机遇。随着结构化和非结构化数据集的持续增长,这类数据的分析方式也更为多样化,当前的存储系统设计难以应对大数据基础架构所需。存储供应商已经开始推出基于数据块和基于文件的系统来应对许多这方面的需求。以下列出了一些大数据存储基础架构的特性,这些都是源自大数据的挑战。
容量。“大”在很多时候可以理解为PB级别的数据,因此大数据基础架构当然要能够可以扩展。不过其同样必须能够简易地完成扩展,以模块化或阵列的方式为用户直接增加容量,或者至少保持系统不会宕机。横向扩展式存储由于能够满足这种需求,变得十分流行。横向扩展集群体系架构的特征是由存储节点构成,每个节点具备处理能力和可连接性,可以无缝地扩展,避免传统系统可能产生的烟囱式存储的问题。
大数据还意味着大量的文件。管理元数据文件系统的累计会降低可扩展性并影响性能,用传统的NAS系统就会在这种情况下出现问题。基于对象的存储体系架构则通过另一种方式,支持在大数据存储系统中扩展至十亿级别的文件数量,而不会产生传统文件系统中会遇到的负载问题。基于对象的存储可以在不同的地理位置进行扩展,可以在多个不同地点扩展出大型的基础架构。
延迟。大数据基础架构中或许同样会包含实时性的组件,尤其是在网页交互或金融处理事务中。存储系统必须能够应对上述问题同时保持相应的性能,因为延迟可能产生过期数据。在这一领域,横向扩展式基础架构同样能够通过应用存储节点集群,随着容量扩展的
联系方式:15131108893南老师
石家庄大数据发展
石家庄电脑/网络相关信息
2022-05-10
2022-04-07
2022-03-16
2022-03-02
2022-03-02 刷新
2021-11-26
2021-11-17
2021-11-01
2021-10-25
2021-10-14 刷新