36 数据空间的技术栈长什么样?七层架构逐层拆解

这篇文章要画一张技术全景图:数据空间的技术架构从底层的数据源到顶层的用户应用,跨越七个层次。每一层解决什么问题、上下层之间怎么协作、为什么分层而不是一体化?拆开看才明白。

跟一个技术负责人聊数据空间建设时,他问了一个很直接的问题:”如果我打开一个数据空间平台的安装包,里面有哪些技术组件?”

这个问题听起来简单,但实际上很少人能完整回答。因为数据空间不是一个”安装包”能装完的东西,它是一个跨越七个技术层次的系统。

底层:DaaS层(数据源)

最底层是数据源层。它不包含在数据空间”内部”,它是各个参与方自己管理的数据资产。包括关系数据库、时序数据库、对象存储、文件系统、IoT数据流、API数据接口等。数据空间的架构设计不需要改变这些底层数据源的形态,它们保持原样,数据空间通过连接器与它们对接。

底层的核心原则是”不做侵入式改造”。数据提供方不需要为了接入数据空间而改造自己的数据存储系统。

第二层:组件层

组件层是数据空间的”通用组件框架”。包括:连接器标准组件(IDS连接器的参考实现)、身份认证组件(DID/证书管理)、数据封装组件(数据产品的标准化包装)、元数据管理组件(元数据的抽取、存储、查询)。

组件层的核心价值是”可替换”,也就是说同一个组件可以有多个厂商的实现版,只要遵循统一的接口规范就可以替换。这避免了数据空间被单一技术供应商锁定。

第三层:IaaS层(基础设施即服务)

对应数据空间技术平台:云资源、网络、存储、算力。

IaaS层可以选择公有云、私有云、混合云,也可以基于现有数据中心的虚拟化平台。数据空间对IaaS层没有特殊要求,只要支持标准网络通信和计算资源即可。

第四层:PaaS层(平台即服务)

对应数据服务平台。包括:数据目录服务、元数据存储库、数据质量服务、数据转换引擎、联邦查询引擎。

PaaS层是数据空间技术能力最集中的一层。它不直接面向用户,但支撑了上层所有业务功能的运行。

第五层:SaaS/DaaS/MaaS层

对应数据空间管控平台。这是数据空间的”业务能力”层,用户感知到的功能大部分集中在这一层,它们包括:

1. 软件即服务(SaaS):数据空间运营管理控制台、参与方管理、策略配置。

2. 数据即服务(DaaS):数据产品的发布、发现、订阅、交付。

3. 模型即服务(MaaS):分析模型的上架、调度、执行、结果返回。隐私计算场景中最关键的能力。

第六层:连接层

连接层是应用和生态系统之间的”桥梁”。包括:API网关(统一对外接口)、事件总线(组件之间的异步消息通信)、协议适配器(将不同协议的数据请求转换为标准格式)、生态系统联接平台(连接不同数据空间的互操作网关)。

连接层的设计质量决定了数据空间的”可扩展性”,每增加一个新的参与方或新的数据空间,需要多大的对接工作量。

第七层:应用层

最顶层是面向用户的应用和数据应用终端。包括了:数据空间门户网站、数据目录浏览器、数据产品展示和交易界面、数据洞察和分析仪表盘、运营管理控制台。

四层功能域的划分

七层架构可以归并为四个功能域,每个功能域跨越若干技术层:

数据空间技术平台(IaaS→DaaS)负责底层基础设施和数据源的对接管理。

数据服务平台(PaaS→DaaS)负责元数据管理、数据目录、数据质量、联邦查询等核心数据服务。

生态系统联接平台(SaaS/DaaS/MaaS→PaaS)负责参与方的协同、数据产品的流通、跨空间互操作。

用户体验及数据应用终端(Application)负责最终用户的使用体验和应用集成。

七层技术架构不是”一层建完再建下一层”的流水线。它是一个共同遵循接口规范、可以独立演进和替换的组件化体系。理解它最好的方式不是记住七层的名字,而是理解每一层解决的核心冲突——IaaS解决资源问题,PaaS解决能力问题,SaaS解决业务问题,应用层解决体验问题。


我是BSN联盟成员。有着十年区块链与隐私计算的产品开发和方案咨询经验,先后参与多个国家重大课题,亲手建过区块链、隐私计算、可信数据空间的落地项目。不追概念,写真的。


发表评论