新一代大数据集成平台架构.pdf

下载

下载

6积分

8积分

下载

8积分

VIP价：6积分

【【 新一代大数据集成平台架构 王轩 If you take a snapshot of a minute on the global internet all of these activities are happening ... 企业数据从Data Warehouse 到 Data Lake 大数据集成从仓库 -> 湖泊 -> 海洋 大规模的数据采集 高效率的处理数据 高质量的管理数据 基于Reactive架构风格的新一代数据集成平台 Responsive Event-Driven Resilient Scalable Reactive 基于Reactive架构风格的新一代数据集成平台 Responsive Event- Driven Resilient Scalable Reactive Thread Actor behavior State Thread Actor behavior State Thread Actor Thread Actor Thread Actor Thread Actor Inbox Inbox Reactive风格的新一代大数据集成平台 数据发布数据整合 实时 自动化运维 非实时 质量 调度 监控 推送 [发布订阅] 数据检核 [实时、非实时] 数据处理 服务 文件 DB 元数据 数据采集 数 据 缓 冲 数据资产 缓 存 用户与权限标准 脱敏 鉴权 计量DBHadoopRedis 数据存储 OLTP 文档 日志 社交媒体 传感器 位置信息 统计分析 BI报表 移动应用 企业应用 ResponsiveEvent-Driven ResilientScalable 新一代大数据集成平台核心架构 分布式可靠数据采集 分布式可靠数据采集 Collector Execut or TaskTask Executor Cache Data Quality Data Work Manager Resource Manager Collector Manager Resource Manager Cache Data LakeData Cache Data Actor Execut or TaskTask Executor Task Data Actor Execut or TaskTask Executor Task Data Flow Collector Execut or TaskTask Executor Cache Collector Execut or TaskTask Executor Cache Collector Execut or TaskTask Executor Cache Data Data 新一代大数据集成平台核心架构 高效海量数据处理 高效海量数据处理 Data LakeData Processor Executo r TaskTask Executor Cache Processor Executo r TaskTask Executor Cache Stream Trans Executo r TaskTask Executor Cache Stream Trans Executo r TaskTask Executor Cache Reactive架构非实时数据处理 Work Manager Resource Manager Processor Manager Resource Manager Processor Executo r TaskTask Executor Cache Processor Executo r TaskTask Executor Cache 高效海量数据处理 Data Lake Data Processor Executo r TaskTask Executor Cache Processor Executo r TaskTask Executor Cache Stream Trans Executo r TaskTask Executor Cache Stream Trans Executo r TaskTask Executor Cache Reactive架构非实时数据处理 Work Manager Resource Manager ETL Manager Resource Manager Processor Executo r TaskTask Executor Cache Processor Executo r TaskTask Executor Cache APP Reactive架构实时数据处理 APP DSL API Collector Executo r TaskTask Executor CacheCollector Executo r TaskTask Executor CacheCollector Executo r TaskTask Executor Cache Buffer Processor Executor Actor Actor Task Task Task Task 新一代大数据集成平台核心架构 海量数据质量监控 基于缺失数据的海量数据质量监控 01010101 01010110 10101100 01010100 数据流 Quality 预测 01010101 01010110 10101100 01010100 01010101 01010110 10101100 01010100 新一代大数据集成平台核心架构 高效海量数据处理分布式可靠数据采集 海量数据质量监控 新一代大数据集成平台的应用 基于Reactive的架构风格 助力智慧城市大数据平台建设 以分布式的处理发布模式 促进制造行业工业建设 【Thanks!