云技术社区

开源存储:在小数据扩散时代推动智能化

Posted on 2020-01-13

开源存储正在兴起——数据存储软件是在允许自由使用、分发和修改源代码的许可下以公开、协作的方式开发的。             

组织现在正在处理大量的数据(PB级),并且所有这些数据都需要以灵活、可访问和安全的方式存储,同时允许分析和智能驱动的解决方案从中获得可行的洞察。             

Druva的首席技术师Stephen Manley认为有三种趋势推动了开源存储的发展。            

 一、云架构和开源存储              

Manley说:“云架构和开源存储已经相互促进,并在彼此的基础上发展壮大。”             

他指出了两个最受欢迎的开源存储产品,Ceph和Lustre。两者的架构都与以前的文件系统(比如EXT4或ZFS)非常不同。一大区别是,它们将数据存储分离为“一个大型图书对象”,并将元数据存储在单独的数据库中。对Manley来说,这反映了它们正在为云架构而构建,“因为云存储只是开始锚定在对象存储上,然后在顶部提供数据库服务”。          

这使得开源存储提供商认识到,存储环境已经发生了变化,就像为云构建一样。              

另一方面也是如此。             

“举个例子,如果你看看AWS,我相信它支持FSx计划的第一件事就是Lustre。对我来说,这反映了开源做得很好的一点。它非常善于专注于非常具体的问题,往往是非常垂直的市场导向。”

“Lustre是一个非常好的高性能计算,云提供商看到这一点后说,因为这是一个非常受欢迎的产品,我们应该在我们的云中实现它,而不一定要构建一些东西来与之直接竞争。” 

从这一点可以明显看出,开源非常擅长:a)找到需要解决非常具体问题的利基市场;b)创建解决问题的架构;c)构建在内部和云中工作的架构。          

二、分析领域的开源              

开源在分析领域的影响力越来越大。

分析领域已经超越了Hadoop和MapReduce这样的面向文本和以大数据湖为中心的东西,开始理解世界正在向所谓的小数据蔓延转变。物联网、远程站点和办公室的激增,意味着组织希望远程处理或分析数据,同时给利用中心提供的数据添加丰富的信息。              

随着这一变化,已经有越来越多的垂直产品将分析与存储集成在一起。              

Manley解释道:“有人不仅仅想为物联网存储数据。物联网的意义在于正在处理和分析,我们看到了更多的集成管道,其中存储成为一个组件。而开源是目前最流行的方式,不管你看Spark还是Elasticsearch,因为它们可以快速发展,人们可以调整它们以满足特定行业的特定需求。”

三|、开源存储驱动智能

随着云存储越来越好,提供商必须不断创新,开源可以促进必要的创新。而且,创新的一个重要领域是将智能存储起来。 

在过去,智能存储方法意味着对存储的数据进行快照并复制这些基本特性。但如今,存储系统(Ceph又是一个很好的例子)将元数据分开。这意味着分析元数据以进行分类、分析、发现问题或合规要容易得多。”             

“今天,开源存储在增加更高附加值方面发挥了作用,不仅在核心服务方面,也在为客户保存数据的智能化方面。”


Posted in 存储
咨询热线:400-648-5123

北京易捷思达科技发展有限公司:北京市海淀区西北旺东路10号院东区1号楼1层107-2号

南京易捷思达软件科技有限公司:江苏省南京市雨花台区软件大道168号润和创智中心4栋109-110

上海office:上海黄浦区西藏中路336号华旭大厦22楼2204

深圳office:深圳市南山区粤海街道深南大道9676号大冲商务中心C座402

郑州研发中心:河南省郑州市高新区梧桐街50号北斗企业孵化器C12-2号楼2楼

广州office:广州市越秀区环市东路498号24F

西安office:西安市高新区科技路50号金桥国际广场C座902

成都研发中心:成都市武侯区交子大道575号中海国际中心J座24层


邮编:100094


邮箱:

contact@easystack.cn (业务咨询)

partners@easystack.cn(合作伙伴咨询)

marketing@easystack.cn (市场合作)

training@easystack.cn (培训咨询)

hr@easystack.cn(招聘咨询)

Copyright © 2017 EasyStack Inc. All Rights Reserved. 京ICP备16000234号 京公网安备 11010802024994号