Filecoin的起源:从分布式存储的探索到行业龙头

11个月前
标签:filecoin/ipfs/web304429
文章来源: 大有IPFS研究院

本月,我们大有IPFS研究院团队在一份由Protocol Labs委托撰写的独家30页报告中,详细分析了以下内容

我们今天将介绍:关于Filecoin的历史回顾

迄今为止FILECOIN的加密故事

关于Filecoin,最常见的误解可能是将其视为“基于区块链的Dropbox”。

实际上,Filecoin的起源范围要广泛得多。Filecoin由Juan Benet及其在Protocol Labs的团队于2014年创建,基于一个简单但宏伟的前提:去中心化互联网。

尽管互联网最初是为了去中心化而创建的,不受任何实体或个人所有,但在过去的十年里,它一直在走向集中化,因为内容和连接正被集中到一小部分提供商手中。根据Synergy Research Group的数据,2022年,三家云基础设施服务提供商,即Amazon AWS、Microsoft Azure和Google Cloud,就拥有市场份额的66%。

作为背景,当一台计算机访问互联网上的某个网站时,它实际上是在访问存储在存储网络上的一组文件。举例来说,这份报告被上传到Substack的存储提供商,为了让读者阅读它,它需要通过互联网从存储提供商发送并显示在读者的浏览器上。由于云基础设施提供商在存储数据和向全球用户传播数据方面发挥着关键作用,这种提供商的集中现象令人不安,因为它会带来单点故障风险,比如数据丢失和服务的中断或停机。例如,2021年12月,当亚马逊网络服务出现故障时,它导致了像迪士尼+和Vice这样的热门网站的瘫痪,以及在某些其他时候Twitch、Reddit、Shopify甚至亚马逊本身也会因此而瘫痪。

当只有一小部分提供商主导这个行业时,他们相互之间没有太多动力在价格上竞争,因为他们比用户拥有更大的议价能力,而最终用户就要支付更高的价格。此外,用户受制于中心化存储提供商的审查规则,可能会丢失对数据的访问权限或被平台解除合作,虽然这种情况很少见,但它的确产生了巨大的影响,违背了万维网发明者Tim Berners Lee所设想的“开放互联网”的精神。

走向去中心化互联网的道路

Filecoin正在在星际档案系统(IPFS)之上构建一个开放化数据服务经济体。

IPFS由Protocol Labs开发,是一种点对点的超媒体协议,它能够允许用户存储和访问可验证的内容数据。在这个系统中,数据文件由参与节点存储,并通过其独特的cryptographic hash(也被称为内容标识符CID)进行分配和访问,而不是使用传统的地址(如http://protocol.ai)。这意味着只要IPFS网络中有一个节点将文件存储在其缓存中,文件就会一直保留在互联网上。IPFS节点可以由任何人(例如个人、公司、非营利组织)运行,节点操作员可以固定一个文件,以便通过IPFS检索(固定是指导节点无限期地将文件保留在本地缓存中的过程)。这旨在保持网络的开放性和弹性。

然而,在IPFS上存储数据时可能会遇到两个挑战。

如果没有内置的机制来激励节点为其他人存储数据,就无法保证存储的数据可用且不被删除,因为它依赖于无私的志愿者(即今天存储的数据可能在几周或几个月后无法继续存储)。

即使为数据存储支付集中化的固定服务费用,用户也必须相信这些提供商会履行他们的职责,因为没有内置的规定来验证数据是否被存储和正确地提供。


简而言之,虽然IPFS保证网络上的任何内容都是可发现的,但它不能保证任何内容始终可用且准确存储。然而,IPFS被设计成可升级的,其核心是为了围绕内容寻址起到一个承上启下的作用。这意味着可以构建特定的IPFS实现或补充协议来解决这些挑战,例如在IPFS之上构建一个激励存储网络,而这就是Filecoin可以在其中发挥的作用。

Filecoin是一个基于IPFS的补充协议,通过内置的加密经济模型为数据存储提供商提供动力,确保数据可验证地安全存储,并随着时间的推移保持可被检索。

如今,Filecoin主要关注作为开放服务的存储,但这只是支持Filecoin宏伟愿景的三大支柱中的第一个。为了支持互联网去中心化所需的更复杂的应用程序和服务,Filecoin有两个核心升级,报告在后面的部分将对其进行讨论。

Filecoin的第一支柱 - 存储

Filecoin拥有一个去中心化的存储提供商网络,任何具备必要硬件的人都可以享受存储服务。用户只需要与数据存储提供商达成存储协议,然后在使用期间需要支付一定的费用,就可以在Filecoin上存储数据。用户也可以通过直接与提供商沟通或使用不需要技术设置的应用程序(如Chainsafe、Estuary)来达成这些协议。

与依靠中心化提供商的声誉来获得保证不同,Filecoin使用加密证明,允许用户通过检查Filecoin区块链来验证他们的文件是否被正确存储。在整个协议期限内,存储提供商需要提交以下证明:

复制证明(Proof of Replication):存储提供商证明他们已经以独特的方式接收并存储了所有数据。独特的编码确保相同数据的两个协议不会重复使用同一磁盘。

时空证明(Proof of Spacetime):存储提供商每24小时提交一次,以证明他们在整个协议期间继续为相同的数据分配存储空间。


存储过程也不牵扯到信任之说,因为Filecoin网络使用这些证据以及加密经济激励机制来确保存储提供商履行他们在协议中的职责。当提交证明时,存储提供商会以FIL资产作为奖励;当他们未能提交证明时,将消减他们的抵押代币作为惩罚。

读者还应注意,链上的是加密证明,而数据是链下存储的。

在Filecoin虚拟机发布之前,Filecoin网络最适合用于冷存储,即存储的文件通常很大,不需要经常访问。对于那些需要频繁访问文件但仍希望建立存储保障的情况,例如在线会议的录像,存储提供商可以将冷存档与IPFS中的热缓存相结合以实现高效分发。Huddle01,一个去中心化的视频会议平台,就在以这种方式利用Filecoin和IPFS。

然而,仅依靠IPFS中的热缓存文件可能无法满足某些用例(如视频流)所需的延迟,这就不得不提到第二个支柱:检索(Retrieval)。

Filecoin的第二支柱 - 检索

在许多用例中,都需要在数据检索时具有低延迟的特点,例如将这份Substack上的研究备忘录传递给读者,Spotify上的歌曲或Netflix上的视频,而高延迟将会影响用户的体验。一项研究发现,每增加1秒的加载时间,网站的转化率平均下降4.42%。

为了实现更快速的内容加载所需的低延迟,内容分发网络(CDNs)服务器之间的协同工作,就可以做到快速的交付互联网内容。这些服务器从源服务器复制数据,并在全球范围内分布,就可以最小化用户和服务器之间的物理距离,从而达到低延迟的效果。

目前,CDN提供商市场非常集中,最大的提供商CloudFlare支持多达80%依赖CDNs的网站,而只有7个CDN提供商服务大部分市场。服务提供商的集中问题在于,许多网站在中断期间可能会同时关闭,例如2021年6月Fastly中断导致Amazon、Twitch、Reddit和Paypal中断,以及一年后Cloudflare中断导致FTX、OKX等加密交易所以及Discord等流行通信平台中断。

然而,CDN市场是一个高度竞争性的领域,规模经济占主导地位,也就是说较大的CDN提供商可以提供较小的CDN企业无法与之竞争的价格。

此外,在美国以外的地区,延迟仍然是一个问题,因为大部分集中式CDN服务器都位于这些地区,数据包的传输距离更远,导致缓冲延迟(称为光速问题)。对于较小的、个体的CDN提供商来说,由于缺乏实现全球覆盖所需的财务资源,在国际上进行竞争是不可能的直到Filecoin的出现。

Filecoin基于可验证的内容寻址数据的独特基础设施允许构建去中心化的CDN,任何人都可以作为节点加入提供内容。搭配加密经济激励机制引导节点,这样就可以创建一个全球范围内的强大去中心化CDN网络,从成本和性能方面与大型集中式提供商竞争,即数据可以以更低的成本、延迟和中断风险向全球互联网用户传输。

例如,Protocol Labs在2022年创立了Filecoin Saturn。Filecoin Saturn自己的去中心化CDN网络就可以缩短从Filecoin网络检索媒体文件的时间。任何人都可以加入并为网络做出贡献,作为回报,他们将获得FIL作为奖励。迄今为止,已有超过800个全球节点提供商加入该网络,这比2022年12月的数量多了2倍多。Saturn项目目前正在进行公开测试,计划在2023年5月实施智能合约支付功能。

正如他们在存储市场所做的那样,Protocol Labs计划在2023年底前建立一个功能完备的检索市场,通过加密经济去激励网络参与。Protocol Labs计划在2023年6月实现的一个关键发展是将检索市场直接连接到存储提供商,绕过对IPFS网关的需求。

Filecoin的第三大支柱 - 计算

Filecoin的第三个也是最后一个开放服务支柱是计算能力。在数据方面,除了存储和检索,用户还希望能够运行计算任务以转换数据。

一个计算能力至关重要的例子就是大数据领域。到2025年,国际数据公司预测世界每天将产生175泽字节的数据,这相当于175万亿千兆字节,是我们今天产生的数据量的50倍。这些数据可以通过分析来帮助世界做出更好决策和改善生活。然而,大数据的庞大规模使得处理和运行计算任务变得困难、耗时且成本高昂,因为在进行计算任务之前,数据需要从冷存储中移出或在一个地点聚合。

Filecoin在解决这个问题方面具有独特的优势,因为存储提供商已经拥有计算资源,特别是他们用于生成和提交加密证明所需的硬件(GPU、CPU)也可以支持计算任务。因此,计算作业可以在数据存储的地方运行,而无需将数据移动到外部计算节点。这在大数据领域至关重要,意味着公司不需要在运行计算任务之前将数据转移到集中存储位置,因为这会花费大量的时间和金钱。

Filecoin上的几个工作组正在研究不同类型的计算。

例如,Lurk一种编程语言,它通过零知识证明实现可加密验证的计算。Lurk还简化了基于zk-SNARK的程序开发,并可以与Filecoin的虚拟机集成,以在Filecoin区块链上实现特定于应用程序的、可证明的计算。这使得智能合约和数据存储更安全、更高效。从长远来看,Lurk可以通过其在星际共识中的潜在应用来提高Filecoin的可扩展性和灵活性。

另一个值得关注的平台是Bacalhau允许在数据生成和存储的地方进行大规模并行计算。它允许公司通过使用名为Docker的容器和WebAssembly映像的多功能工具来改进现有的工作流程,而无需进行重大更改。Bacalhau旨在彻底改变大数据处理的方式,使其更具节约成本和有效率,同时使数据处理更易于访问。最终目标是建立一个开放、合作的计算环境和促成一些本来难以实现的合作。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

评论

暂时没有评论,赶紧抢沙发吧!