从集群任务分片面试题延伸:任务调度系统设计——分片、租约与故障转移
「集群会动态扩缩容,一批任务怎么分下去、机器挂了怎么办」是一道经典的集群任务分片面试题。真题解析回答的是那一个场景的问与答;这篇换个角度,把这类系统的通用构件拆出来——任何分布式任务调度系统,不管叫调度中心、批处理框架还是自建定时任务平台,都在回答同样四个问题:任务怎么切、归属怎…
「集群会动态扩缩容,一批任务怎么分下去、机器挂了怎么办」是一道经典的集群任务分片面试题。真题解析回答的是那一个场景的问与答;这篇换个角度,把这类系统的通用构件拆出来——任何分布式任务调度系统,不管叫调度中心、批处理框架还是自建定时任务平台,都在回答同样四个问题:任务怎么切、归属怎…
先说明属性:这是一篇历史题目复盘,题目出自本地历史面试资料(云计算大数据场景:每天成千上万的任务读写存储,多个作业或用户共享系统时,如何保证优先级和公平性),与任何公司的当前招聘无关。这是一道开放式设计题,没有标准答案,考察的是你把一对矛盾目标拆成机制组合的能力。
想象面试现场:有一百万条消息要发,集群里的机器数量不固定——随时可能扩容加进来几台,也可能缩容被回收几台。问你怎么设计,让任务尽快跑完,还不能漏发、不能重发。