当前,应用比较广泛的Hadoop作业调度算法包括:FIFO调度算法、Yahoo公司研发的计算能力调度(Capacity Scheduler)算法和Facebook公司研发的公平份额调度(Fair Scheduler)算法。
(1)先入先出调度算法
Hadoop最早应用时,处理的业务通常是单用户提交的大型批处理作业,因此作业调度器采用了先入先出(First In First Out)调度算法。该算法的实现原理是:系统将所有用户提交的作业按照提交的先后顺序送入唯一的作业队列中,JobTracker调度作业时按照队列中的顺序选择作业,为其分配Slot。
(2)计算能力调度算法
计算能......
阅读全文