近日,由智臾科技(DolphinDB)承担、诺基亚贝尔参与,双方共同申报的「基于5G Pre-TSN 网络的高精度时间同步实时计算平台
」项目,成功入围浙江省“尖兵”、“领雁”研发攻关计划项目,时序数据库技术将尝试用于解决"5G+工业互联网"中低成本终端缺少高精度时间支持的难题。
项目简介
在工业互联网和工业制造领域,5G
凭借着大带宽、高可靠、低时延、广连接等特性,促成了云计算、大数据、人工智能、物联网、区块链与工业互联网等新一代信息技术的无缝融合,打通了数据从采集、存储、传送、处理、分析到决策的全过程,数据已经成为新一代生产要素,其中针对典型的异常检测问题,基于丰富的传感器采集的数据,引入了大数据分析和机器学习,带来了对数据时间相关性和海量实时数据存储和计算、分析处理的问题。
本项目计划引入 4G/5G 系统(用户设备+无线接入网+核心网),以及 ORAN 无线智能控制平台(RIC)和 ETSI MEC API
框架,搭建一个边缘计算平台,以找到能用更低成本、更轻量的方法来满足使用 5G 系统的大数据分析和机器学习算法中对于数据时间相关性的要求。ORAN
架构定义了近实时的无线智能控制平台和可编程的对无线接入网的增强,它提供了一个标准框架来解决这个问题。
同时将开发一个集数据库和数据计算功能于一体的实时计算平台,以满足对海量数据进行低时延异常检测、实时计算和机器学习
的需求。其主要功能模块包含:高性能高压缩的数据存储引擎,支持海量数据的高速读写;多范式编程语言,支持丰富的计算函数与统计分析和机器学习功能;实时数据流计算,内置流数据时间序列聚合引擎,横截面聚合引擎和异常检测引擎可实现高性能流计算,支持亚毫秒级的信息延迟。
DolphinDB将和诺基亚贝尔携手合作,充分发挥DolphinDB高性能分布式时序数据库在海量数据存储、内置编程脚本语言和高速实时计算上的领先优势,依托诺基亚贝尔在5G
上行数据上的先进赋时技术,共同研发低成本、高精度的多终端时间戳同步系统,将时间戳精度从目前的几十到几百毫秒降低到低于 5毫秒,从而打造"弱终端、强基站"的增强
5G 系统。
行业痛点
目前5G+工业互联网在推动制造业向数字化、网络化、智能化转变过程中正发挥越来越重要的作用,但在推广过程中也遇到一些痛点问题:
* 因为精准授时需要北斗/GPS等授时设备或同步时钟源,室内环境还需光纤网络,投资巨大,所以很多行业都没有用高精度授时的传感设备,时间精度低。
* 虽然目前5G 网络号称低时延,但实际网络时延抖动能高达几十毫秒;
* 实时计算分析软件无法实现毫秒级响应。
这些问题导致不同数据源的数据时间戳不准且难以对齐,制约了高端制造业数据要素的挖掘效力。
图1 多源头的数据存在时间同步问题
研发重点
本项目拟基于开放无线接入网ORAN 架构,实现弱终端、强基站,用低成本方式提高传感器的时间精度,确保时间精度误差小于5ms,主要开发内容包括如下三个方面:
图2 系统架构图
* 用5G基站收到数据的时间,加上智能补偿来取代发送方的绝对时间,实现弱终端、强基站。
*
基于无线接入网智能控制器(RIC),对传统5G基站进行增强,对带有特定识别号(如IP或者切片ID等)的上行数据增加高精度的时间戳,同时报告上行传输中可能发生数据丢失时的异常事件。
*
采用集数据存储和计算于一体的DolphinDB实时计算平台进行数据分析。针对时序数据的流数据处理,历史数据处理,机器学习建模,均可以在分布式数据库内完成。优化基础算法、内存管理与系统架构,实现毫秒级SQL和计算响应速度。
应用场景
本项目高精度时间戳的获得,将从根本上解决多源头数据存在的时间同步精度低的难题,为工业互联网和工业制造领域的大数据分析和机器学习提供高精度的可用数据,从而显著提升数据分析和预测的精度。
项目成果将首先应用于电缆、半导体等高速生产线的设备状态实时异常检测
领域,比如某公司的射频电缆生产场景,其生产工序包含一条连续的流水线,和几个离散的生产步骤,各自使用独立的设备。这种依赖于独立的分散过程检测有一个缺陷,门限设置过低,容易产生误报;门限设置过高,则成品率低。因此需要对相关的数据进行关联分析,并更精准地识别是否存在生产质量问题,以及生产工序是否存在系统性误差等深度问题。本项目成果应用于这套异常检测系统,将显著提高产品的成品率。
关于我们
DolphinDB是一款专为海量时序数据设计的数据库产品,将编程语言、数据库和分布式计算从底层进行一体化设计,开创性地解决了快速开发、高速运行和简单部署三者难以兼顾的难题,为海量结构化数据的快速存储、检索、
分析及计算量身订做一站式解决方案。
DolphinDB目前被广泛应用于金融市场全域(低频、中频和高频)的数据存储、数据清洗、因子分析、策略回测、实时计算等场景中。在物联网领域
,尤其是化工、电力、能源、水务等行业,DolphinDB通过联合各行业头部集成商,将DolphinDB集成到行业解决方案中,实现海量数据的存储和实时计算,为用户提供性能优异的整体解决方案。