原文《数字政府智慧政务大数据治理平台及大数据能力平台建设方案》WORD格式,主要内容为数字政府大数据治理平台及大数据能力平台。
大数据治理工作从数据汇聚开始,到最终服务业务,主要包括以下几个阶段:
第一阶段:数据汇聚,融合管理
从政务办公网、感知网、社会协同单位收集各类数据,形成大数据中心的数据基础,并对汇集的原始数据开展基于数据管理和业务视角的治理及应用工作。
基于数据管理视角,对业务元数据、技术元数据进行集中采集和管理,从站位全局服务XX市大数据创新应用的角度梳理大数据资产,构建数据资源目录和数据资产管理应用,达到数据资源的规范化和可视化;汇聚后的原始数据仍处于零散、不可直接使用的状态,为数据使用者提供一站式的集成开发环境,从而满足数据资源平台下,数据开发者进行ETL开发、数据挖掘算法开发、数据主题库建设等需求;对数据融合处理的全过程通过质量管理工具进行管理监测,保障数据质量;因政府数据的机密性、高敏感性等特点,需对数据资源层中各数据项进行安全上的分类分级,确保数据使用合理、安全可控。
基于业务应用视角,对汇聚的基础数据开展模型治理,通过数据清洗加工、基于业务背景及要求的处理加工、以及面向应用专题场景的开发,依次构建整合数据资源层、主题数据资源层、应用数据资源层,形成指标口径一致、统存统用的大数据资源层。
第二阶段:基于数据,提炼抽象信息,形成知识
因大数据涉及的来源广泛、数据采集背景及方法多样甚至特殊、复杂,导致因不同的汇集场景等因素,各个实体对象往往存在多个ID,需要对ID间关系做计算,通过IDMapping,建立ID和实体人/物间的关系,从而串联起实体人/物的属性/行为信息。
基于业务需求引导和对数据资源信息的价值梳理,对数据进行进一步提炼加工和算法计算,将数据标签化,构建基础库,支撑专题应用库建设,并通过标签中心产品对用户及开发者开放。
第三阶段:构建应用,服务业务
按照业务场景需求,将基础库、主题库和专题库等进一步组合利用,可构建起各类业务创新应用,如监控大屏、全息画像、预警中心等应用。通过数据服务平台,可以把数据和标签在线服务化提供给开发者和用户。
数据治理平台会包含部分5大库数据标准,行标、部门标准等需由实施人员从客户处采集后录入系统
由于数据治理过程需采集数据元并标准化,故需先将生产库需桥接库表的数据结构录入前置库
将数据结构采集入数据治理平台
实施人员为采集来的元数据挂接数据标准,标准化其元数据格式属性、值域等
部门管理员根据标准化的字段属性,将生产库数据桥接到前置库
中心管理员对前置库数据进行质量检查及整改
中心管理员将质检后数据集成到治理库
中心管理员对治理库的数据根据业务需求进行逻辑层质量检查
部门管理人员对已完成数据治理的治理库数据进行资源挂载
通过数据治理工作后,形成的数据治理成果物。
本项目建设数据智能管理平台适用于分析型系统数据处理的各个过程,负责数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出和贯穿数据处理各个过程的全流程、全生命周期的数据处理、数据治理和数据管控的一体化建设。
数据治理平台覆盖了从标准、设计、采集、开发到使用,再到交付的全数据治理流程,为组织提供了一站式数据治理运营平台,可满足数据共享交换、数据开发、数据运营多种应用场景,并通过构建数据工厂,实现数据治理的标准化、流程化与组件化。
数据标准规范了业务术语,元数据,参考数据,基础数据,指标数据的规范定义、获取原则、管理要求等。 包括设计基础类和分析类数据标准,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计为前提,调动业务部门、技术部门和系统技术团队共同参与数据标准设计,建立全局数据标准流程,制定总体落地计划,推动数据标准落地执行,增强内部对数据标准的理解,指导信息化建设中对数据标准的参照。
数据标准管理体系主要包含数据标准管理、落地实施机制、及数据标准管理平台维护三部分。
平台通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分进行数据资源管理,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑两方面保障;数据标准平台维护主要包括建设数据标准技术平台,支撑数据标准日常管理工作两方面。
设计基础类和分析类数据标准,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计为前提,调动业务部门、技术部门和系统技术团队共同参与数据标准设计,建立企业级数据标准流程,制定总体落地计划,推动数据标准落地执行,增强对数据标准的理解,指导信息化建设中对数据标准的参照。
数据标准是对数据的名称、含义、结构、取值等信息的统一定义,达成对数据的业务理解、技术实现的一致性。
基于数据模型理论将数据标准延伸至5个分类,涵盖技术、业务多个视角。
业务术语:从一致性、通用性等方面统一业务术语定义。
数据项标准:用来描述实体的某种属性,包含数据项的名称、编号、别名、简述、数据项的长度、类型、数据项的取值范围。
参考数据标准:识别参考数据,并建立参考数据的统一标准样例,使参考数据可在不同系统中被使用而保持统一标准值。
主数据标准:主数据编码是应用系统中的重要数据类型之一,通常用来描述业务操作的具体对象及其特征,注重唯一性,特征一致性,稳定性及有效性。
唯一性:在一个系统,一个平台甚至整个范围内同一主数据编码要求具有唯一的识别标志(代码,名称,特征描述等),用以明确区分业务对象,业务范围和业务的具体细节
特征一致性:主数据在不同系统中,均按统一标准出现
稳定性:主数据相对稳定,本身属性不会随交易过程而被修改
有效性:贯穿该业务对象的全生命周期过程,只要该业务对象存在,则此数据不会丧失有效性
指标数据标准:需要收集指标的管理信息、业务定义、以及维度定义,需要兼顾通用性和个性化,个性化方面支持各使用部门个性化定制
以分析型应用建设和操作型应用集成为导向,两套方法结合,建立数据标准设计体系
分析型应用建设导向:以分析应用指标范围为依据,重点结合业务战略及管理要求,自上而下追溯数据源,聚焦数据标准范围。
操作型应用集成导向:自上而下的原则,基于实际业务流程及操作,重点识别跨业务、跨流程的集成点及关键步骤,分析提炼共享数据,完成业务流程和应用共享的数据映射,删除冗余、非重点数据,精简数据标准建设范围。
在现有平台基础上,按照项目建设目标,完善整个XX市大数据平台能力与功能建设,让平台可以支撑整个XX市大数据管理与应用。具体建设内容包括:
建设大数据治理子平台,提供数据标准管理、元数据管理、数据质量管理能力,实现对数据的规范治理与管理;提供数据工厂能力,实现对归集的数据进行清洗、加工,支撑业务的数据应用需求。
建设市级公共人工智能平台,提供包含机器视觉、语音识别、自然语言处理等基础模型为主的通用AI引擎以及满足城市交通、路政治理、城市安全、市场监管、智慧旅游、智慧农业等智能场景应用所需的算法库,结合机器学习算法、深度学习算法、多维分析,在海量数据中计算、分析和建模来挖掘出数据价值,输出统一的公共算法服务能力,统筹匹配各部门聚焦的业务需求,更高效的从数据中获取应用价值。
建设数据地理信息服务平台,依托市级空间地理底图和各类图层信息台,建立统一的地名地址标准和数据库,叠加“一标多实”各类要素数据,实现各类地理数据资源的有序关联,完善地图更新和转换联动机制,支撑全市各部门对地图的统一服务需求。
建设数据可视平台,提供基于拖拽的强大格式定义、可视化报表与图形化定义能力,支持用户非常方便控制报表中内容的精确布局,也可以很方便地制作各种不同维度的报表内容,并将包括表格、地图分布、文本内容等有用、关键的信息集成在各种看板设备上(PC、Pad、手机、大屏等)。
在数据安全保障的大环境下,建设数据安全管理平台支撑提升全市数据资源在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防护能力。
在大数据能力平台的建设实施阶段,要同步实施密码应用的实施,配合大数据能力平台的应用完成其密钥应用实施,最终达到实际的密钥安全应用需求,为大数据能力平台提供底层安全保障,并达到符合密钥应用安全性测评要求。
建设统一运维管理平台,提供统一监控运维功能,保证整个XX市大数据能力平台的稳定与高效运行,并提升数据资源全生命周期的保障执行力和运维效率。
建设可视化指挥大屏,基于全市公共数据归集基础,以XX市高质量发展实际需求为驱动,通过多源数据融合和多维全景分析,通过全局态势可视,监测预警洞察能力,辅助提升城市发展科学决策水平。
XX市大数据能力平台的总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息资源平台软硬件系统环境、平台应用系统(数据支撑底座、数据交换平台、数据整理治理平台、数据目录管理系统、AI能力平台、GIS基础能力平台、可视化能力平台、数据资源共享门户、数据安全管理平台、统一运维管理平台、可视化运营指挥大屏),以及数据资源中心(数据湖、基础库、主题库、部门数据库、乡镇数据库、乡村振兴数据库)组成。具体,整个XX市大数据能力平台的功能架构如下:
页面更新:2024-04-06
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号