news 2026/3/27 11:15:47

龙石数据中台 V3.8.4 升级 | 数据集成心跳检测,数据处理更稳定

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
龙石数据中台 V3.8.4 升级 | 数据集成心跳检测,数据处理更稳定

本次数据中台V3.8.4版本聚焦实时数据流转与用户操作体验,覆盖数据集成,数据治理、监控预警等多个模块,让数据管理更高效、更稳定、更易用。

一、数据集成

1 数据归集 - 新增心跳测试机制

我们发现在实时数据归集功能中,若来源库长时间无新数据产生,来源库的数据库日志会被定期清理,后续有新数据接入时,任务因缺失同步节点会导致归集任务出错

此次升级,增加心跳测试功能,通过定期推送任务最新日志,避免因来源表长时间不更新、日志删除导致的游标缺失报错问题,保障数据实时流转稳定性。

心跳检测是通过网络周期性发送的状态监测信号,主要用于判断机器、存储器节点的在线状态与运行健康度。其核心原理是通过定期发送微小数据包(心跳包)来确认通信双方或集群节点的可用性。

主要作用:

· 连接维持:防止网络中间设备(如路由器、防火墙)因长时间无数据流而关闭连接。

· 故障探测:快速发现宕机节点,提升分布式系统的可靠性。

2 数据源接入 - 优化文件管理体验

新增单个/批量下载文件,数据获取更灵活。

优化重名文件上传逻辑:上传重名文件时,支持用户自主选择“覆盖原文件”或“保留原文件”,操作更可控。

二、数据治理|数据质量模块

1 模式重构 - 简化流程,聚焦核心需求

数据质量模块由“派发模式”改为“不派发模式“,去除冗余流转环节。

精简功能菜单:删除「问题数据管理」、「按来源部门 / 责任人自动派发」、「手工派发」、「问题派发日志」、「退回问题设置」、「数据异议管理」、「数据质量评测报告」、「规则质量分析」等 8 项非核心菜单。

新增「问题数据查看」模块:仅保留“待修复”、“已关闭”两种状态的问题数据;“待修复”为评测出的问题数据;“已关闭”为源头修复后系统自动核销的记录。

2 评测模型管理 - 优化配置逻辑

数据源选择:仅显示质量模块支持的数据源类型,并优化为多层级选择样式。

主题创建:取消组织机构关联要求,无需下拉选择部门,简化创建流程。

评测对象管理:新增评测对象时,取消物理表来源部门的校验,无需关联来源部门即可完成添加。

规则管理:隐藏更新频率规则和规则库,简化配置项。

3 评测任务管理 - 新增实用功能

操作优化:新增“立即执行“按钮,支持规则一键全选/取消功能,操作更高效;

执行策略升级:优化为4种执行策略(手工触发、重复执行、定时一次、Cron表达式),适配更多场景。

三、 评测任务管理 - 新增实用功能

数据质量洞察升级
数据治理分析模块新增2大核心功能:「问题数据统计」、「时效性分析报告」模块,助力全面洞察数据质量状况,为决策提供数据支撑。

四、 运维监控

新增「质量评测任务监控」功能,实现核心任务全流程监控。

扩展预警渠道:在数据归集监控、数据清洗监控、数据共享监控模块中,增加企业群消息预警功能,实现异常信息及时同步。

五、基础配置

消息通知配置:新增企业微信群消息配置。
安全强化:对AgentID、密钥、Webhook地址、邮箱密码等敏感信息采用脱敏显示,提升系统信息安全性。

龙石新书|欢迎共创

龙石数据编写的书籍《数据治理实战指南—“理采存管用”落地方法、步骤与模版》已在官网连载了前7章内容,供大家参考交流。
这不是一本晦涩的理论著作。对于实施人员,这是一本手把手帮带的指导书。对于管理人员,这是一本提升成效的检查单。
更特别的是,本书采用了开放式共创的编撰模式,诚邀大家审阅、研讨、共创和交流。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/12 22:57:16

ant -vue a-table去掉表头

<template><a-table:columns"columns":data-source"data":show-header"false" <!-- 核心属性&#xff1a;隐藏表头 -->bordered <!-- 可选&#xff1a;显示边框&#xff0c;方便查看表格结构 -->/> </template>…

作者头像 李华
网站建设 2026/3/22 18:33:08

3.3V驱动MOS方法——稳压二极管+NMOS

一、背景 在许多实际应用中&#xff0c;如电机控制和灯光调控&#xff0c;通常需要利用PWM&#xff08;脉宽调制&#xff09;信号来控制功率或转速。这些系统常常使用MOSFET&#xff08;场效应管&#xff09;来开关负载。在常见的PMOS和NMOS中&#xff0c;除非有特殊需求&…

作者头像 李华
网站建设 2026/3/13 17:19:40

nodejs基于vue兴趣班报名管理系统_g3td7

文章目录 系统概述技术栈核心功能模块数据统计部署与优化扩展方向 --nodejs技术栈--结论源码文档获取/同行可拿货,招校园代理 &#xff1a;文章底部获取博主联系方式&#xff01; 系统概述 Node.js与Vue.js结合的“兴趣班报名管理系统”通常采用前后端分离架构&#xff0c;后端…

作者头像 李华
网站建设 2026/3/15 13:45:44

中小厂 AI 招聘隐藏要求:除了技术,这 2 点更关键

在AI人才竞争白热化的当下&#xff0c;中小厂往往无法像大厂那样比拼薪资福利与品牌光环&#xff0c;其招聘逻辑也更贴近业务本质。多数求职者误以为只要夯实Python、TensorFlow等技术栈&#xff0c;就能顺利通关&#xff0c;但实际上面试官在技术达标后&#xff0c;会更看重两…

作者头像 李华
网站建设 2026/3/21 4:02:58

spoon如何连接carte如何将.ktr任务或者.kjb任务提交个远程carte服务让,carte的服务端来执行 etl脚本的任务呢?

前提是你的carte远程服务已经启动了 第一步打开 spoon&#xff0c;打开文件选中你的.ktr或者.kjb 第二步spoon与carte服务的通信连接配置&#xff0c;就是通过.ktr任务配置文件的子服务器选项来配置 第三步 对.ktr任务进行运行时配置 .ktr有两种运行模式 第一种 Pentaho loc…

作者头像 李华
网站建设 2026/3/19 4:25:23

低代码:设备管理数字化的故障快速响应密码

传统设备管理的困境传统设备管理模式中&#xff0c;故障响应流程繁琐低效&#xff0c;诸多痛点直接影响企业生产效率与运营成本。故障响应迟缓是核心问题。设备突发故障后&#xff0c;操作人员需手动填写报修单并层层递交&#xff0c;信息传递效率低下&#xff0c;流转审批过程…

作者头像 李华