从实时数据流面试题延伸:流批一体、水位线与数据管道工程实践全景
「设计一个支持数据库、NoSQL 和大数据之间数据实时流动的系统」是面试里的设计大题,那道题的解析主轴是设计问答展开,本文不重复;今天换个角度,把这类系统背后的流处理概念体系讲透——管道怎么搭、乱序怎么办、下游慢了会怎样、「恰好一次」怎么成立。
「设计一个支持数据库、NoSQL 和大数据之间数据实时流动的系统」是面试里的设计大题,那道题的解析主轴是设计问答展开,本文不重复;今天换个角度,把这类系统背后的流处理概念体系讲透——管道怎么搭、乱序怎么办、下游慢了会怎样、「恰好一次」怎么成立。
先说明属性:这是一篇历史题目复盘,题目出自本地历史面试资料(见文末来源说明),与任何公司的当前招聘无关。这是一道开放式系统设计题:业务数据产生在数据库里,线上查询要用 NoSQL,离线分析和训练要用大数据平台,如何让数据在三者之间实时流动?