50 DSC控制器的实时管控中心,数据空间的"作战指挥室"

这篇文章要打开DSC控制器的实时智能管控中心,一个把来自物联网、数据仓库、流式数据、跨数据空间的所有数据源汇聚在一起,通过事件流处理和实时看板,让运营者可以看到数据空间中每一秒正在发生什么的”作战指挥室”。

前几篇文章讨论DSC时,我们更多从”五层能力价值链”的框架角度来理解它。现在,当我们进入开发与部署阶段,需要把视角切换到更工程化的层面,来关注DSC在运行时是怎么工作的?它的”实时管控”能力依赖什么样的架构设计?

DSC的实时智能管控中心架构给出了答案。

多源异构数据源的接入

DSC管控中心的底层是数据源层。它不是只接一种数据,而是接四种完全不同的数据来源:

物联网数据。 设备传感器和IoT网关产生的实时数据流,在工业数据空间中最常见的数据类型。物联网数据的特点是频率高、单个数据量小、对时效性要求极高。

数据仓库数据。 来自各参与方数据仓库的结构化数据,批量加载、低频更新,但数据质量高、结构化程度好。

流式数据。 持续产生的、需要被实时处理的数据流,金融交易流、设备监控流、行为日志流。流式数据对DSC的实时处理能力有最高要求。

跨数据空间数据。 来自其他数据空间的数据,当一个数据空间需要与另一个数据空间进行互操作时,跨空间数据源的接入质量直接决定了互联互通的效果。

DSC不是”把数据统一存到一个地方再处理”,它在数据来源处就进行分类和预处理,不同类型的数据走不同的处理管道。

实时智能管控中心

DSC的核心处理引擎是一个”实时智能管控中心”,包含两个并行的处理模块:

事件流处理。 这是DSC的”实时判断”能力。来自所有数据源的事件流(使用请求、策略变更、安全告警)被持续采集,经过事件流处理引擎的实时分析和转换,判断每个事件是否需要触发管控动作。

当使用方A发起一个数据查询请求时,DSC的事件流处理引擎实时分析:A的身份是否有效?A的请求目标是否在其权限范围内?当前是否有安全告警影响A的访问状态?如果全部通过,请求被放行。如果任一项不通过,请求被拒绝并记录。

实时管控看板。 这是面向运营者的”一面墙”。所有数据流通的实时状态,包括:当前活跃的连接数、正在运行的数据任务列表、成功/失败的数据流通记录、最近的告警事件,都在一个Dashboard(实时看板)上展示。

运营者在看板上可以做的事:看到一个使用方的数据请求被异常拒绝,可以点开查看原因(身份证书过期),通知使用方更新证书后手动放行请求。

在数据空间故障排查中,DSC的实时看板是最直观的诊断工具,运营者可以实时看到”数据流通到了哪个环节被卡住了”,而不是”出了事之后翻日志才能找到原因”。

数据结构与通信方式

DSC支持结构化数据(关系表)和非结构化数据(文档、图片、日志)的混合存储。它的存储层不是”统一用一种数据库”,而是”根据数据类型选择最合适的存储引擎”。关系型数据库存结构化数据,文档数据库存非结构化数据,时序数据库存物联网时间序列数据。

异构数据传输通过多种方式实现:接口传输(API)、中间件(消息队列)、面向消息的传输(MQ、HTTP、Otter、文件共享)。DSC同时支持”GET”模式(服务端主动发起请求)和”POST”模式(客户端主动推送数据)。

DSC的实时管控中心不是什么革命性的技术发明——它是对一个古老工程原则的坚持:可观测性。在数据空间中,”可信”的前提是”可见”——运营者能看到数据空间中正在发生的每一件事。DSC的实时智能管控中心,就是让”可见”成为工程现实的那个组件。


我是BSN联盟成员。有着十年区块链与隐私计算的产品开发和方案咨询经验,先后参与多个国家重大课题,亲手建过区块链、隐私计算、可信数据空间的落地项目。不追概念,写真的。


发表评论