为什么去中心化和分布式存储对一个更好的互联网至关重要?

月亮🌛   |     |   1043 次阅读

释了分布式数据存储技术的进步和市场激励的强大结合,正合力形成一个更安全、更高效的网络。

在不到三十年的时间里,互联网已成为人类历史上最伟大的成就之一,因为以前在科学、技术和商业领域从未出现过如此看得见的收获。这一惊人的发展在很大程度上是由技术专家们抽象出了互联网的基本复杂性所驱动的。其中一个最大的抽象是集中化的“云存储”,即数据存储在大型的集中的贮仓中,主要由盈利性公司运营。这种架构不仅使网络变得脆弱、破坏隐私、允许存储保持虚高的价格,还制造了阻止数据的创新用途的瓶颈。

互联网并不需要这样结构化。新兴的技术使我们改进互联网的底层协议,能够通过“是什么”而不是根据“在哪里”来定位内容。这使得网络成为一个更安全、更强大的地方,我们将减少依赖于任何一个特定的实体来提供我们所请求的数据。现在,我们不再依赖昂贵的业务来存储和传播人类的知识宝库,我们可以将数据分布到一个庞大的点对点网络中,他们付费存储彼此的数据。

去中心化存储使网络变得稳健且有弹性

如今,互联网信息是由位置定位的:一个特定的内容包含一个URL——统一资源定位器(Universal Resource Locator),它包含到一个网络服务器的IP地址,该服务器在一个特定的位置上承载内容。例如前往一个URL,如https://facebook.com/mypicture.jpg, 把域名(facebook.com)解析到一个IP地址(如31.13.70.36)并在那里查找照片。URL的指令是“转到31.13.70.36,请求路径/mypicture.jpg上的内容”。URL总是指向那个位置。即使该图片保存在另一个网站上,甚至是你自己的电脑上,你仍然需要连接到那个IP地址并下载它的内容。

在日常的人类语境中思考这个问题是很有用的。想象一下,我们只能通过一个副本的物理位置来引用书籍,而不是通过标题、作者或ISBN(国际标准书号)——仅仅是物体的位置。所以,如果有人推荐你一本书,他们会说,“嘿,你应该读这本伟大的书,它在纽约公共图书馆,第九区,第三个书柜,最顶层的那个书架,从左边数第一本。”现在你需要去那儿检查一下,然后才能得到一份拷贝。在你去到之前,你不知道它实际上是什么,你只知道它的位置。这显然是非常低效的。这也是一种不稳定的情况——如果有人移动了这本书怎么办?如果那天图书馆闭馆怎么办?或者图书馆彻底停业了怎么办?或者假使你到了第三个书柜,最顶层的那个书架,拿到了从左边数第一本书,而就在这时你意识到其实你的背包里就有一本同样的书,那又怎么办?

这不仅仅是一个理论上的问题。哈佛大学最近的一项研究发现,在美国最高法院意见书中,有49%引用的超链接不再有效。这些法院意见书指向的地址在过去的某段时间内都保有正确的内容,但在那个位置的内容现在已经不存在了。这是脆弱、低效、不必要的,这是一种很愚蠢的行为。

相反,我们应该考虑一种不同的方式,考虑用“是什么”来定位信息,而不是“在哪里”。要做到这一点,我们需要使用一种不同的网络链接。我们不需要使用指向位置的链接,而是需要可以唯一描述内容本身的链接,就像指纹一样。这种内容寻址方法将“什么”和“哪里”分隔开,这样数据就能通过网络进行传输,因此就可以在任何地方为任何人所存储和服务。为了创建这些内容寻址链接,我们使用内容的加密哈希作为唯一的标识符或指纹。

星际文件系统IPFS是一种协议,它允许我们使用那些内容寻址链接来交换数据。在IPFS中,文件或数据的哈希指纹就是它的地址。我们使用这些指纹来识别内容,而不是使用服务器的物理位置。这样,当你试图加载一个文件时,你可以从任何位置检索它。如果文件已经在你自己的计算机上,你可以从那里检索它。如果你在网络中的直接邻居有这个文件,你可以从他们那里检索到。你可能从原始服务器,从网络中的其他人,或者任何人那里获取它。IPFS可以使用高效的路由选择算法来搜索网络,并且它可以为隐私进行调整:例如只向你信任的节点请求数据。这类似于其他P2P系统所做的事情,但却被极大地扩展了。你可以使用它来与任意数量的节点交换任何类型的文件或数据,并直接构建到网络中。

IPFS通过基于“是什么”而不是”在哪里“来寻址信息,使得网络去中心化。这种去中心化的模式允许在本地网络中工作的网络应用程序脱离原始来源,它可以是一个失去上行链路的办公室的聊天室,一本在各种图书馆都保存的科学期刊,一个网络较差的偏远村庄的维基百科,或是一场危机中的家庭对话短信。它加强了我们的数字信息,使数据能够适应底层互联网的故障,并以密码学来保护它,让它永久存在。你,或是那些分享你的数据的人可以保存信息的副本,并且数年都在相同的链接上。IPFS允许网络上的文件存储去中心化,但是第二个问题仍然存在:我们如何才能创建一个开放而有竞争力的市场来提供存储?

云存储以及集中化的危险

从一开始,云数据存储就已经进化为功能性的,但也留下许多经济和安全问题亟待解决。为了理解为什么云存储目前价格昂贵且不稳定,研究它随着时间的演变是很有用的。

最早的网站和在线服务运行他们自己的网络服务器:专门为用户提供内容的计算机和硬盘。在一个在线业务可以注册他们的第一个客户或者销售他们的第一个产品之前,他们必须投入大量的资金和时间来建立服务器基础设施。即使他们的产品或服务与计算和数据存储完全不相关,但实际上每个人都被迫投资和运行自己的硬件,只是为了在网络露一面。这非常昂贵、浪费且耗。

在2006年,亚马逊解决了这一浪费的开销,并大胆推出了Amazon Web Services(AWS)。AWS通过把亚马逊自己的服务器和存储空间出租给其他人,从而消除了开发者创建和管理自己的服务器基础设施的需要。现在,公司能以很实惠的价格在亚马逊上存储和服务他们的文件,如此一来,这家公司就不需要再自行购买硬件。AWS很快就获得了成功,其他几家大型技术公司也纷纷效仿,创建了自己的云存储解决方案。

云存储使得新的在线业务能够在一夜之间迅速增长,并能迅速满足用户需求。不需要购置新的硬盘,也不需要在自己的小型数据中心中安装它们,云计算能让业务仅仅通过几次键盘敲击立马就扩大规模。在短短几年内,云计算变得如此有用和流行,以至于大多数数据都存储在这寥寥几个云数据提供商中。即使现在大多数网站都是由第三方提供的,但对于终端用户来说,这一基础设施仍然是不可见的。例如,你是否知道现在很流行的电影流媒体应用Netflix实际上是在用AWS来满足他们的大部分托管需求?尽管亚马逊有自己的竞争对手电影流媒体服务(Amazon Prime),但他们还是很乐意把托管空间卖给竞争对手。

目前,构建一个成功的云数据存储业务是非常复杂且具有挑战性的。甚至开始与现有企业竞争,新公司需要在各大洲建立一个全球数据中心网络(这个市场里的大多数玩家在会有多个数据中心),构建能够满足多数用户需求的稳健的用户界面,发展全球销售和营销团队来吸引顾客,并雇佣大客户售后团队。这些巨大的进入壁垒导致了极少数的大公司拥有几乎所有的全球云数据存储市场。这种集团化尤其令人痛苦,原因有很多:用户必须信任这些大公司会保护他们的数据,切换云供应商的成本特别高,数据的存储离终端用户非常遥远(通常数百到数千英里之外),以及供应商被鼓励去锁定他们的客户,并由此提取溢价。目前的云存储市场并不像它所能达到的那样具有竞争力和高效率,终端用户也因此受到影响。

更令人沮丧的是,世界上存在着大量未使用的“潜在”(可用的)存储。这种存储是由各种实体所拥有的:大到大型企业,小到家族生意,大到放在地下室的巨大的硬盘架,小到每个人的笔记本电脑上都有的小型硬盘。然而,由于前面提到的进入壁垒,任何一家公司或个人都很难将他们的额外空间变现,并启动云数据服务。一个更有效的市场会将原始硬盘驱动器空间(如储蓄空间)与其服务与支持(如客户服务,用户界面,报酬和价格协商等等)分离。这将使硬盘提供商能够在多元化动态市场上专注于硬件,并在一个存储市场竞争,这将极大地降低云存储的价格,并允许现有容量广泛地变现。它将使云存储变得更像一种商品或一种工具,你依据市场价格按需购买,而不像一种服务关系(它充满了合约、谈判、交易和锁定成本)。但问题是,我们如何才能建立一个真正的去中心化存储生态系统?内容寻址可以由IPFS来解决,但我们要如何才能鼓励世界各地的人们成为存储的主干呢?进入Filecoin。

Filecoin: 为网络付费以存储你的数据

尽管IPFS能让我们直接与节点交换数据,而不用依赖于集中式主机,但Filecoin却更进一步,给我们提供了一种方式来为存储数据彼此付费。Filecoin是一个去中心化的文件存储网络和协议代币(“代币”可以与“appcoin”和“加密货币”互换)。可以把它想象成数据存储的Airbnb。在供应方面,即代币挖矿方面,拥有未使用的存储空间的个人和组织可以将他们的磁盘添加到Filecoin网络中,并接收客户端订单。在需求方面,客户——个人和组织雇佣Filecoin网络来存储他们的数据,而这些数据会被发送到世界各地许多不同的矿工。

Filecoin提取了加密技术和区块链技术的前沿进展,使这个圣杯成为现实。它使用了一个区块链、一个原生的加密货币、公开可验证的存储证明、附加抵押品的存储合约、确保有效定价的算法市场、支持小额支付和降低交易成本的支付渠道等等。所有这些因素加在一起,形成了一个强大的、去中心化的、自我修复的网络,它可以汇集来自全球各地的“矿工”的大量存储,并提供强大的服务,强有力地保证了可用性、弹性和好价格。它可以自动调整自身以满足需求,保护内容免受攻击,并从矿工的脱机状态中恢复。

世界上成千上万的实体和个人之中有着巨大的未使用的存储空间。Filecoin通过将所有潜在的供应引入市场,可能会导致在线存储的价格急剧下降。另外,Filecoin启动了强大的优化过程,使比特币积累了大量的计算能力。Filecoin矿工可以通过在网络上增加更多的存储空间,赚很多钱。

用户并不要求同时使用Filecoin和IPFS,但这两者是一个完美的组合,可以解决当前网络的许多缺陷。目前使用IPFS的用户需要“装订”(存储和服务)他们数据,这些数据要么来自他们自己的计算机,也可以看作一个现有的集中式云服务供应商,要么来自其他主动选择承载该内容的IPFS用户。Filecoin能为任何IPFS用户提供激励机制,以确保他们的数据存储在许多去中心化节点上。很快,任何人都能在Filecoin中支付大量的去中心化存储供应商,以稳定地存储他们的文件,确保他们的数据能够安全快速地送达到那些请求数据的人。用户在IPFS和Filecoin的文件中存储文件,将受益于优化的存储成本、多样性的存储提供商、更快捷的数据服务、自动化的自我修复以及巨大的规模经济。

在去中心化网络中保护隐私和尊严

在由IPFS和Filecoin驱动的网络上存储私有数据,这就意味着一部分数据可能分布在许多计算机上,而这些计算机可能是由完全陌生的人操作。然而,就保护隐私而言,这比现有的云系统显然更好。如今,大量的云存储服务供应商,无论大小,都是将他们用户的数据全部用普通文字未加密储存。即使是一些添加了闲时加密功能的人,也是通过控制用户加密密钥的方式来实现这一点,而不是创建真正的“遗忘”或“零知识”系统。这是一种危险的安排,因为这意味着客户的数据可能被黑客或其他攻击者窃取、泄露或出售。用户(或他们使用的应用程序)应该在把数据给这些云存储提供商之前,对数据进行端到端地加密,无论是否是集中式。

虽然将用户数据分配给不属于某个公司或服务的大批存储计算机,可能增加数据的曝光,然而,如果有价值的数据以端到端加密形式存储,那么访问加密文本的攻击者就无法了解其中的内容。无论存储网络是大型云服务提供商还是像Filecoin这样的激励市场,都是如此。这是一个不一样的安全模型,在这个模型中,我们总是被强制加密所有东西,并且只有用户才有权使用密钥,而单个云供应商的故障不会损害数据的弹性。

市场协议:利用网络和激励机制来建立更好的行业

在协议实验室,我们相信市场协议——由协议代币驱动的去中心化网络——会是下一波互联网创新浪潮。我们相信这些技术有潜力重塑我们在全球范围内组织商业和交易价值的方式。这在一定程度上是因为市场协议在激励机制、参与者和网络创造价值的能力之间呈现出一种全新的动态。在当前的互联网创新模式中,当一家公司创造网络经济时,他们就占据了大部分的网络价值。虽然数百万人在网络上创造价值,但这些参与者可能并不会从网络本身获得利益。少数富有的投资者和早期股东获取了大部分的长期价值。相比之下,市场协议是由协议代币驱动的,协议代币是网络整体价值的一个百分比。参与市场协议的补偿是网络的分红,这种补偿随着网络的价值而增大和缩小。

例如,Airbnb和Uber都是创造网络经济的企业。他们通过服务费补贴服务提供者(Airbnb的房东和Uber的司机),而不是他们网络所创造的整体财富的分红。这就保证了一小部分的股东得到了很大的回报,而那些帮助这个网络创造价值的人(司机、房东、用户)却不能公平地分享这些好处。

像Filecoin这样的网络则体现了一种替代性方案,即创建网络价值的参与者在网络中获得了利益补偿。在Filecoin网络中,存储和分发数据的矿工可获得Filecoin协议代币,他们可以选择持有或变现。由于Filecoin协议代币的目的是跟踪存储网络创造的价值的数量,因此Filecoin经济的发展将转化为代币价值的增长。那些选择持有代币的矿工和用户将分享到这一好处——因为创造价值而获得公平的回报。每个参与者赚取和持有的代币越多,他们就越有动力去支持网络并保证其成功。这种激励联盟和反馈环路会形成一个非常强大的参与者协作网络,他们将从网络的成功中获益。

市场协议目前仍然处于发展早期阶段,但它们的前景非常光明。我们很高兴能站在这些技术进展的最前沿,这些技术进展使互联网及其数据网络更加安全、稳健、快速。就像网络创造了巨大的连接和释放人类潜能一样,我们相信下一波市场协议的浪潮也会对未来产生同样的影响。

Juan、Jesse和Matt工作于协议实验室,这是一个致力于构建协议、系统和改进互联网工具的研究、开发和部署实验室。协议实验室开发了IPFS、Filecoin、CoinList和许多其他互联网技术。

感谢Peter Van Valkenburgh阅读这篇文章的草稿。


原文链接: https://coincenter.org/entry/why-is-decentralized-and-distributed-file-storage-critical-for-a-better-web
作者: Juan Benet, Jesse Clayburgh & Matt Zumwalt
翻译&校对: 俊颖 & Elisa

 
1 人喜欢