来源网络,旨在交流学习,如有侵权,联系速删,更多相关来源公众号:优享智库,本文仅截取主要内容进行简介。
支撑平台总体技术架构设计如上,整个架构从下往上包括云计算基础设施层、云计算平台资源层、云计算业务数据层、云计算管理层和云计算服务层。其中:
依据云计算中心建设的总体需求,勾画整个项目的部署架构,指导项目整体建设。
云计算中心部署主要包括几个层面:计算资源池的构建、业务数据的分区规划、共享存储的设计等。从整个部署架构来看:
计算资源池的构建主要采用高端多核心X86服务器作为服务器基础支撑,通过虚拟化技术实现底层物理资源的虚拟化,通过云资源管理平台进行虚拟机的创建、动态分配、迁移及管理,形成统一的计算资源池。
整个方案设计分为4个层次,即数据源、数据预处理层(数据抽取、转换、脱敏、加载、规约等)、大数据支撑平台(数据存储,数据处理)、信息惠民大数据应用层等。数据由数据源经过统一的数据抽取和转换平台对数据进行抽取、格式转换、脱敏等操作。
通过数据抽取、转换和加载工具,将清洗好的数据加载到大数据平台中进行存储,由于汇聚了多个源的数据,通常数据量非常大,所以大数据平台需要具有良好的可扩展性。加载到大数据平台中的数据将被用于进行最终的数据分析和数据挖掘,同时还可以根据具体的分析和挖掘需求,设计自己的查询任务流及更多的应用系统。最后大数据应用层通过建模对大数据平台中经过初步加工的数据进行进一步的分析挖掘,然后通过大数据可视化工具对分析挖掘结果进行展现,展现形式丰富多样,可以是图表,也可以是文档等易于人们理解的形式,这样数据就转化为信息,进而由信息转化为可供决策支持的知识。系统整体逻辑架构如下图所示。
页面更新:2024-05-11
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号