科普：当我们谈 Web3 数据 我们在谈些什么

作者：Lewis Liao，Zonff Partners

当我们谈论web 3数据时，我们在谈论什么要想知道这个问题，首先要知道Web2上的数据是什么。本文讨论了数据的生成、收集、存储、管理和使用的整个生命周期。在此之前，我们先明确了数据是如何定义的。

在中国全国信息安全标准化技术委员会发表的《网络安全标准实践指南 数据分类分级指引》(意见书v 1.0202109)中，将数据分类为个人信息、公共数据和法人数据。

具体的定义和示例如下表所示。

在每个类别之上，根据数据泄露的危险对象和程度，分为5个级别：公共级别(级别1)、内部级别(级别2)、敏感性级别(级别3)、重要性级别(级别4)和核心级别(级别5)。就公开级数据而言，它更像是公共产品，非竞争性和非排他性。这种类型的数据通常由政府/公共机构提供，收入(如天气预报、宏观经济数据等)归其所有。

1.1创建、收集和存储数据

公共数据、个人数据和法人数据大部分发生在我们日常使用计算机应用程序时，其中与普通用户相关的是个人数据和法人数据。

那么，个人数据和法人数据是如何生成和收集的呢非常抽象的互联网产品系统体系结构图如下。

web 2应用程序体系结构

图片来源：Zonff Partners

底部数据库存储后端传递的用户与前端交互生成的数据。广义来说，这些都是用户数据。

对于移动应用程序，数据可分为以下类别：

用户信息、用户使用应用程序服务记录的与用户相关的信息(用户身份信息、设备、网络、地理位置、移动设备上安装的应用程序列表等)是在服务器端数据表和埋设点收集的。

内容数据，包括用户使用应用程序服务生产的数据，即用户主动交互写入应用程序的非个人信息内容数据，通常直接从服务器端数据表收集。

行为数据、用户在应用程序期间交互生成的数据(包括观看时间、点击率、渗透率、滑动等应用程序使用期间用户的行为习惯)通常在掩埋点收集。

日志数据，应用程序本身在应用期间生成的数据(应用的冲突日志等)

代码数据，用户不交互的数据包括前端和后端代码。这些数据与用户数据一样存储在集中式服务器上。

在此分类中，用户信息属于个人信息数据，日志和代码数据属于法人数据。这里值得讨论的是内容数据和行为数据，在web 2时代，往往被中央化的实体划分为自己的业务数据，即法人数据。

web 3应用程序有什么不同吗Preethi Kasireddy这个web 3产品体系结构有助于我们理解。

web 3产品体系结构

图片来源：Preethi Kasireddy

用户终端和前端与web 2应用程序相比几乎没有变化，与后端和数据库不同。用户通过前端与节点提供者交互(而不是一台中央服务器)，通过访问部署在以太网等区块链上的合同代码(不是服务器的后端环境)进行交互。此过程也会生成这种类型的数据。由于技术体系结构的差异，web 3生成的数据不是由一台中央服务器存储的，而是以不同方式生成的数据的存储方式或相似之处。

智能合同交互生成的所有数据都发布在区块链上，任何人都可以访问，因此成为公用产品，包括资产信息、交易数据和合同代码。理论上来说，如果区块链区块空间足够大，所有数据都可以存储在区块链中，有些项目想将区块链存储在数据库中。

目前，除了web 3应用程序生成的数据、上述三种类型的数据外，大多数仍然使用中央服务器存储方式，包括前端代码、用户信息、内容数据、行为数据和日志数据。这是因为目前相关的存储基础设施不完善，项目方仅限于技术问题，或者采取了集中方案来确保访问速度。随着基础结构的不断发展，越来越多的存储基础结构(IFPS、Stroj、Filecoin、Ceramic等)出现，越来越多的应用程序开始在集中存储之上自行部署，例如将前端站点置于IPFS上，然后通过ENS进行访问。

通常，开发人员在部署web 3应用程序时，可以选择三个选项来存储应用程序数据。

存在于区块链中，这个选择的优点是非常昂贵，应用尽可能简单，数据完全公开，最直接地保护应用主权。

智能合同逻辑在区块链上，其他的在现有后端上。这种方法牺牲了用户的主权性，同时存在中心化的危险。这是目前大多数web 3应用程序使用的方法。

智能合同逻辑存在于区块链中，其他存储存在于IPFS、Arweave、Ceramic等存储中，通过智能合同管理和更新数据的方法成本高(Ceramic现在免费)，一时慢，但这种方法保护了应用程序的主权。

现在大多数web 3应用程序都是以第二种方式构建的，现在可以以第三种方式构建，极少数应用程序是以第一种方式构建的。那么，应该用什么方法保存呢什么样的存储方式是趋势呢

1.2趋势：集中存储删除数据和应用程序主权

当谈到创建web 3应用程序的三种方法时，有一个关键词叫主权(sovereign)。这个词是我们谈论web 3的特征时不可缺少的主题，一般包括数据主权和应用主权。那么主权重要吗这是另一个话题。本文不加探讨，有兴趣阅读相关市场，如《web 3数据句展望》和《web 3let the ' right to data ' awaken》。在这里，我想从数据的角度进入确立web 3主权的必要途径，推迟基础设施发展的方向和重点。

关于数据主权，包括数字资产主权和用户数据主权，《垂直流动性：如何相互连接价值》一文中提到令牌可以定义用户的数字资产主权(身份、关系、物权)，这是由难以篡改的广泛共识决定的。基本上，这些权利的定义可以在区块链本身上完成，例如令牌所属的地址。但是，如果涉及到更复杂的数字产品权利归属，则会出现很多问题。通常是与NFT相对应的照片(或句子等)的存储问题。在“NFT:数字所有权的革命”中讨论了这个问题。大部分NFT目前的情况是，相应的数字产品存储在某个地方的中央服务器上，如果服务器崩溃或被黑，用户拥有的只是连锁商业散列，散列背后真正的“东西”随时都可能被盗或替换，变得毫无价值。(阿尔伯特爱因斯坦，美国作家)。

另外，用户数据主权是web 2和web 3最突出的分界线之一，是web 3创新和发展的旗帜。因此，Ceramic设想了一个数据宇宙，一个可以组合的网络规模的数据生态系统。所有人都拥有，但不专属于任何人。用户数据从一个应用程序跟随用户到另一个应用程序，用户围绕自己的数字宇宙进行控制。目前很少有应用程序能够实现这一点。Cyberconnect为实现应用程序之间用户社交关系数据的互操作性，做出了创建集中社交地图协议的良好尝试。但是目前来看，该应用程序并不能保证用户的数据主权。尽管已经开始向Ceramic迁移，但一切仍在继续。

关于主权适用，主权应用被称为“超级结构”，它具有不能停止、免费、有价值、可扩展、没有许可、政外部性和可靠中立性等特点。这种综合提供了数字世界的公共产品，创造了“原宇宙”的基础设施。目前，大多数所谓的Web 3的应用程序没有高级别的应用主权，它们不是真正的公共产品，它们很容易因制裁和权力变化而改变，Tornado Cash事件非常直接地说明了这个问题。主要原因之一是，虽然这些应用协议层的合同代码发布在区块链上，但前端、域名等组件仍然由以第三方为中心的实体控制。

为了实现数据主权和应用主权，web 3应用程序的构建方式至关重要。默认起点是“保存”。数据在哪里，如何保存才能保证用户拥有主权通常，根据用户的数据类型，可能会有不同的解决方案。

用户的资产信息、交易数据必须是公共账面数据，在链中确保可验证性是最重要的，但Aztec等应用程序对保护用户链中交易的隐私至关重要。

使用用户的用户信息、内容数据和行为数据作为个人信息来保证用户的控制权很重要，可以在用户同意的情况下选择性地公开，可以用公开的产品挖掘积极的外部性。

日志数据和代码数据可以私有化为法人数据，有一定的必要性，但与“超级建筑”相关的web 3基础设施类应用程序必须具有公共基础设施的特性，应用程序代码的存储必须公开，超越平台级别的审查。

目前，大多数web 3应用程序之所以“智能合同逻辑存在于区块链中，存在于其他现有后端中”，是因为没有足够的集中式基础设施来替代现有的中央基础设施方案。

首先，IPFS、Filecoin和Arweave等集中式存储是静态存储，因此缺乏计算和状态管理功能，无法实现可变性、版本控制、访问控制和可编程逻辑等高级数据库功能。但是，Ceramic是动态存储，但在一定程度上解决了这些问题。

集中存储(如IPFS、Filecoin和Arweave)的主要作用是静态存储文件非结构化数据，如照片、文档和静态代码。这是因为难以篡改的特性在一定程度上保证了NFT等数字主权。链哈希代码和链下中央存储地址之间的连接建立后，很难受到外力的极大影响。前端代码构建在上面，促进了应用程序主权的完整性，但当前阶段的存储技术只是存储，因此缺乏计算能力，远远落后于集中式服务器解决方案。

目前市面上主流的中央化存储情况如下表所示。此表参考“web 3的中央化存储演化历史”总结了更新。

资料来源：CoinmarketCap

时间：2022年8月23日

目前，大多数存储方案只实施满足最基本要求的“集中硬盘移除”，而基于存储的计算要求等高级计算要求是当前web 2应用程序中最常用和需要的功能模块，如渲染本地开发环境、插入和提取数据流等。Ceramic基于数据流存储的创新使数据权限管理、版本控制、动态存储和组合成为可能，Stratos正在努力提供包括数据库存储、静态存储、计算和共识等多个模块在内的更完整、更全面的解决方案。此外，Arweave和Filecoin认识到计算的重要性，并自行鼓励生态建设相关模块，例如Filecoin推出FVM以支持Filecoin上的计算。

2.1数据管理

通过在集中存储中构建web 3应用程序，可以不受外部势力干扰，打破垄断和强权。但是光储存是不够的。为了实现数字世界个人主权的上升，需要对存储环境中的渲染计算、数据处理、权限配置、隐私保护等技术提供支持。特别是，权限控制和隐私保护问题必须通过高水平的主权技术方案来实现。在web 2应用程序中，这些级别的数据根据不同的安全级别存储在特定的中央服务器上，网络安全由网络安全保障，主权由平台(如企业平台、政府平台等)保障。在这种数据管理模式下，用户服从超级管理员，对数据本身没有权限。另外，数据安全被超级管理者这个中央化的实体(例如不久前某地区的公安数据泄露事件)泄露了一名超级管理员的私钥，泄露了数亿个人信息。

web 3的数据管理必须具有两个主要功能：

确保数据主权。这应该是超越平台水平，甚至通过世界一流的共识，保障数字世界用户的共同权力。传统世界的保障是平台级的，规则来自非协议，平台级的公司可以控制所有规则制度，可以随时更改，从而侵犯用户的个人主权。

数据隐私保护。通过密码学，从数学上保护用户数据隐私安全，而不是数据库网络安全。用户控制选择性加密是用户数据主权的基本权利之一。

web 3数据管理方法取决于数据的存储方式。

IPFS和Filecoin以内容为中心，通过内容id(cid)访问存储的内容，并通过部署第三方应用程序(如ChainSafe Files)来执行数据管理。通过chain safefiles对单点登录问题进行本地化，可以通过非对称加密轻松加密数据。以内容为中心的管理模式使用户管理变得困难，并使分配数据所有权的方法复杂化。Filecoin除了提供存储外，其生态系统的可扩展性远高于其他底层。特别是，随着以下FVM的推出，将出现一些专门用于数据存储数据检索的垂直领域的工具，帮助企业更好地管理部分数据，确保数据安全，开发新的应用程序。

Ceramic也基于IPFS，但基于以用户为中心的IDX协议、3ID DID方法(CIP79)构建了Ceramic-native的帐户系统，可用于Ceramic身份认证，用户可以使用区块链钱包控制，只要使用相同数据模型的应用程序共享，

Arweave是一个集中存储项目，用于一次性支付费用并永久存储链中的数据删除，数据公开透明地存储在链中，任何人都可以访问，并且可以通过Arweave区块链浏览器浏览链中的数据。此模式下的数据管理与管理链中的数据相同。访问控制和原始数据没有“热更新”。每次更新数据时，索引地址都会更改。IPFS和Filecoin没有问题，但优点是数据所属的用户非常明确，有助于追溯数据权益。

Stratos是基于区块链共识的存储，它维护索引树，记录数据存储区的路径，从而保持数据更新跟踪。与Arweave不同，Stratos的每个存储节点(资源节点)旨在提供计算能力、存储和内容访问控制服务，项目方以接近集中式云计算机的形式和管理模式，根据区块链本身构建数据库，使用数据的动态吞吐量。

2.2趋势：集中消除数据市长/市场

如果用户拥有数据所有权，数据市场是数据作为资本要素流通的必然趋势。在Filecoin，有人试图市长/市场数据。Fivehive是一个开源市场，由中央应用程序开发工作室OB1建立和维护，支持数据集的上传、维护、购买和/或转移。这个项目Github已经在两年前停止了更新和维护，大概率失败了。

Ceramic的数据模型市长/市场

Ceramic在数据宇宙中提到了他们想要创建的开放数据模型市场。因为数据需要互操作性，可以大大促进生产力的提高。这种数据模型市场是通过对数据模型的紧急协议来实现的，与Etherfance的ETC合同标准一样，开发人员可以选择作为功能模板，拥有满足该数据模型所有数据的应用程序。就目前而言，这种市场不是交易市场。

数据模型的一个简单例子是，在集中的社会网络中，数据模型可以简化为以下四个参数：

PostList:存储用户帖子的索引

Post:保存单个帖子

设定档：储存使用者的设定档

FollowList:保存用户兴趣列表

那么，数据模型如何通过在Ceramic中创建、共享和重用实现应用程序之间的数据互操作性呢

Ceramic提供数据模型注册表(DataModels Registry)。该存储库是面向Ceramic的可重用应用程序数据模型的开源社区构建存储库。在这里，开发人员可以公开注册、搜索和重复使用现有数据模型，这些数据模型是基于共享数据模型构建的客户生产应用程序的基础。目前基于Github存储，将来将分布在Ceramic上。

添加到注册表中的所有数据模型都将自动发布到@datamodels中的NPM插件包下。所有开发人员都可以使用@datamodels/model-name安装一个或多个数据模型。这使DID DataStore或Self。您可以使用任何IDX客户端(包括ID)在运行时存储或检索数据。

此外，Ceramic基于Github构建了数据模型论坛

欧凯安的数据交易市长/市场

Ocean Protocol围绕数据交易市场构建了一个集中的数据服务供应链网络。下图显示了创建数据服务供应链所需的主要服务，并提供了数据、算法、计算、存储、分析和计划。这些组件与服务执行协议(如服务级别协议、安全计算、访问控制和许可证)捆绑在一起。

照片来源：Ocean Protocol

主要参与角色包括数据用户、服务提供者、市长/市场、服务发布者、认证者和馆长。Ocean提供了一套完整的数据科学工具，使数据用户能够在Ocean建立数据服务管线，自动运行数据算法，从而自动进行数据处理和价值发现。在此过程中，数据用户无法下载所有数据集并查看所有数据集，从而保护数据集不被盗。用户不拥有数据集，而是购买使用数据集的权限。

资料来源：Ocean Protocol

此外，Ocean与Mercedes-Benz公司的集中式数据市长/市场[Acentrik] 一般来说，数据使用链接是ETLA(外部、传输、加载、分析)过程，每个节点都有代表项目。「萃取」(Extract)项目的代表是The Graph。「转换」(Transform)转换成可用资料表和「载入」(Load)部分的专案代表是Dune和Luabsae。「分析」(Analysis)的代表是Nansen和

支持ETLA关于集中存储的整个过程的项目几乎是沙漠，只有几个提取计划，其中有巨大的机会和挑战。The Graph和Ceramic社区本身正在努力从Ceramic中提取数据，Orbis的创始人试图创建Cerscan，在Ceramic中浏览数据。Arweave可以通过The Graph以子图片的形式读取和管理存储在Arweave中的数据。Filecoin也有相关的第三方项目。但是TLA的过程还没有人问。最大的原因是，存储在不同中央化存储中的数据的异质性很高，因此很难有统一的模式来挖掘这些数据的价值。其中最有希望的是陶瓷。这是因为数据模型的存在降低了Ceramic上数据的异质性指数，从而提高了数据可用性。

除了链中的数据外，还有很多项目想将链中的数据与链下的数据相关联。这些项目可以视为“链式”项目。

类型分类包括：

web 2数据主权将授予Itheum、Navigate、Swash、Phyllo等交易市场。这些项目主要是想将现有的互联网数据与链上的数据结合起来，在web 2和web 3之间交互信息。常见的方法是导出web 2数据，然后将其导入指定的数据池，或者直接绑定现有的互联网社交帐户。

企业数据共识：Authtrail通过与企业内部数据库集成，加入共识层，实现企业内数据的防篡改和跟踪等功能。

链和链下的数据组合：Space and Time与Authtrail一样，在链下进行数据库集成，但没有共识层，链下和链上的数据有更多的联合计算。另外，Pool也在做类似的事情。

web 3数据的使用范式与web 2大不相同。主要取决于数据聚集在一起的方式：存储、索引、提取、集成和利用。根据前面的分类，以下是一些简单的总结。

公开数据：包括《网络安全标准实践指南 数据分类分级指引》分类的公开数据和部分法人数据。作为公共产品，可以公开挖掘价值的数据，虽然不被允许访问，但可以追溯用户所有权进行空运。典型的例子是链中的数据和存储在集中存储中的未加密应用程序数据(如用户帖子、称赞、评论等)。最重要的上游支持是索引应用程序，如The Graph或Tableland等web 3基本数据库应用程序。

个人数据：包括《网络安全标准实践指南 数据分类分级指引》分类的个人信息和部分法人主体数据。需要加密存储，需要特定隐私权限配置的数据类型，无法访问和公开获取，如果存储在集中存储和区块链中，则需要可配置权限的加密存储。或者，可以通过隐私技术手段(如ZK、MPC、TEE)进行保护。最重要的上游支持是Kwil、Ceramic等数据库应用程序。

单击下载

European Exchange金融投资European Exchange(也称为Eurokx)是世界领先的数字资产交易所，为全球用户提供比特币、莱特货币、以太网货币等数字资产的现货和衍生品交易服务，并使用区块链技术为全球交易者提供高级金融服务。这是一个非常古老的数字货币交易平台，平台为我们提供安全、专业的数字货币交易经验，为新手提供完整的流程指导，使其易于启动，通过客服24小时在线回复提供最佳服务。