云技术社区

一个磁盘也没有,却能构建存储云?

Posted on 2020-02-02

去年8月,在温哥华会议中心举行的一次大型开源会议上,Docker前CEO Ben Golub谈到了他领导的初创公司刚刚推出的一个项目,旨在让开源公司吸引更多用户加入其平台。今年,他来到在圣地亚哥召开的同一个会议,讨论该平台的新设计,并宣布推出新版本。
这家公司是Storj Labs,Golub是执行主席兼临时CEO,其雄心壮志就是在云存储市场上打败AWS。与其他AWS挑战者不同(如Microsoft Azure和Google Cloud Platform,它们每年花费数百亿美元建立全球超大规模数据中心网络),Storj(发音与“storage”相同)却想的是不要一台服务器就实现雄心壮志。     

“我们的目标是成为世界上最大的云存储供应商,却不拥有一个磁盘。”Golub在接受采访时表示。

Storj是一个“共享经济”的IT基础设施。就像优步已经成为世界上最大的出租车服务公司而没有一辆车,Airbnb成为最大的短期房间租赁公司而没有拥有一家酒店一样,Storj想要众包全世界未被利用的数据存储空间。“我们是磁盘领域的Airbnb。”Golub说。

他估计,家庭、办公室和数据中心的大多数硬盘的利用率都不到25%。借助一些聪明的软件,以及说服人们同意访问其计算机,Storj希望将这些容量转变为单个存储池,这个存储池比AWS构建的任何存储都更大、更分散。                      

现在,该公司还处于实施该计划的最初阶段,要知道,这条路不会一帆风顺。Storj设法在180个国家/地区的大约10万个“节点”(个人硬盘驱动器所有者)上累积了150 PB的容量,用于运行最新版本的平台(V2),但该版本必须废弃。Golub解释说,它表现不佳,不够耐用,并没有产生足够的经济效益。  

V3是在alpha发布一年后将要进入beta的版本,在所有这些领域都有所改进。但是到目前为止,新网络上只有大约1500个节点,总计约4千兆字节。Golub并没有急于投入生产,因为他很清楚市场上对性能不佳的存储服务的需求很低——“我们准备好后就会发布。在存储领域,你只有一次机会做对。”

在V3中,“做对”的最大意义之一就是重新考虑可用性。V2复制用户存储的每个文件八次,比用户需要存储的数据量多消耗了八倍的容量。Golub解释说,这种架构不仅不经济,而且无法达到exabyte的规模。使用一种称为擦除编码的技术,新的网络将每个上传的文件分解成80个片段,其中任何30个片段都可以用来将恢复整个文件。每个文件都存储在单独的硬盘上,由一个“operator”拥有。这意味着你可以丢失多达50个存储文件的硬盘,而不会对其可用性产生任何影响。要完全不可用意味着在50个不同位置的硬盘都突然停机,这种可能性非常接近于零。Storj估计有5%的几率失去网络上的一个节点,同时失去50个节点的几率是0.05的50次方,“这是一个非常小的数字。”

这种方法还提供了一个足够“厚”的安全层。用户文件在上载时使用用户自己的加密密钥进行加密(“我们永远看不到您要上载的内容,其他人也看不到。”)。即使黑客能够以某种方式解密数据,在达到此目的之前,他们必须识别至少30个位于全世界各地的硬盘,访问所有30个文件,并将文件拼在一起。

Storj的目标是以亚马逊S3云存储服务一半的价格提供Tardigrade服务。数据出口费用是云提供商因为你的应用程序访问存储在其云中的数据所需的网络带宽向你收取的费用。这是使用大型云提供商的一个著名的“隐藏”收费,在网站上的定价页面时,这种费用难以显示。在Tardigrade上有大约150个alpha用户,在某些情况下,该平台的性能已经超过了AWS。Golub声称:“在上传和下载中,我们看到速度在任何地方都比AWS快2到4倍。”             

他希望随着时间的推移,性能会变得更好,因为更多的节点“operator”注册并使平台更加分布式。那么,Storj如何招募operator呢?根据Golub的说法,愿意在台式机或数据中心的空闲磁盘空间上赚钱的人并不少。为了每月每terabyte获得大约5美元每兆字节的空间,你必须证明这台机器一直通电并连接到互联网上。这自然将智能手机和笔记本电脑排除在外,只留下台式机和数据中心。operator根据使用的存储量和访问存储数据所消耗的带宽获得报酬,你所得到的是Storj自己的加密货币。

现有的节点中有“少数几个数据中心”。对于数据中心的operator来说,容量过剩很常见,他们最担心的是安全问题,因为参与意味着将额外的第三方带入他们的网络。然而,根据Golub的说法,安全不是问题,因为他们存储的数据是加密的,并且是非活动的。Storj不在operator的基础设施上运行应用程序。“你实际上得到的是加密的数据块。”             

曾担任Docker的管理层4年,Golub对开源软件世界的机制非常熟悉。现在即使像亚马逊这样的云巨头也采用流行的开源项目,并将其转化为云服务,从而使初创企业很难围绕这些项目建立业务。不向开源社区“回馈”成为一个罪名。Storj的所有软件都是开源的,它都将自己定位为更好地管理开源思想的人。其他开源公司可以与初创公司合作,并在用户将数据存储在Storj云中时获得报酬。该公司将40%的收入与合作伙伴分享,其余的用于支付给节点operator。这是它回馈开源社区的式。  


Posted in 云存储 Docker 存储
咨询热线:400-100-3070

北京易捷思达科技发展有限公司:北京市海淀区西北旺东路10号院东区1号楼1层107-2号

南京子公司:江苏省南京市雨花台区软件大道168号润和创智中心B栋一楼西101

上海office:上海黄浦区西藏中路336号华旭大厦22楼2204

郑州分公司:河南省郑州市中原区西三环路大学科技园东区14号楼3层北户301

成都分公司:成都市高新区199号天府三街太平洋保险金融大厦A区8楼


邮编:100094


邮箱:

contact@easystack.cn (业务咨询)

partners@easystack.cn(合作伙伴咨询)

marketing@easystack.cn (市场合作)

training@easystack.cn (培训咨询)

hr@easystack.cn(招聘咨询)

Copyright © 2017 EasyStack Inc. All Rights Reserved. 京ICP备16000234号-1 京公网安备 11010802024994号