(1)数据采集
全面梳理行业业务数据来源,进行全范围数据采集,包括各业务运行系统、上层管理系统、散落在各管理部门手中的表格等结构化数据,以及物联网、监控设备、图片音频视频等非结构化数据,还有来源于上级管理部门、外部企业信息、互联网综合平台的第三方数据。
(2)数据处理
通过ETL的kettle等数据交换工具、平台接口对接或者实时埋点日志采集、爬虫等方式对不同来源的数据进行统一接入至平台,并依据通用信息标准进行数据清洗转换,包括数据格式、业务规则、约束条件等,从而保证数据的完整性、正确性、准确性、一致性、唯一性、及时性等。
(3)数据存储
数据存储底层采用统一分布式存储HDFS,将数据存储在ODS库、主数据库、明细库、主题库及数据集市中。可依据不同行业特点通过实体拆分、数据整合、作业调度等进行相应的主题库建设,通过概念模型设计、逻辑模型设计、物理模型设计等实现在平台上的主题库搭建。
(4)数据质量
数据质量检测主要是对存储在平台中的数据进行数据属性检查及数据使用监测,可设置检验任务对数据涉及到的空字段、重复字段、字段长度格式、代码标准等规则进行检查,利用数据资产分析、数据血缘分析、数据地图定位等方式,生成数据质量报告,从而对数据进行修改建议及优化。
(5)数据应用
最终处理完成的数据可应用于多个维度,一方面利用数据关联性进行数据的可视化分析,零代码调用数据并生成可视化图表,分析结果应用于行业业务应用的方方面面。另一方面回归至业务系统,通过数据的接口调用,再次赋能至业务建设,提供业务工作效率及质量。

数据全面:整合多源异构数据,提供更全面的信息支持。
响应迅速:实时数据处理和快速响应,满足各行业应用场景的时效性要求。
安全性强:多重安全防护措施,确保数据安全和隐私保护。
个性服务:根据不同行业特点和需求,提供定制化的数据平台解决方案。
高性价比:优质服务与合理的价格,降低企业和组织的成本。