什么叫“执行”?

开心一刻
好评回答

执行(Speculative Execution)机制是指在分布式集群环境下,因为程序BUG,负载不均衡或者资源分布不均等原因,造成同一个工作的多个任务运行速度不一致,有的任务运行速度明显慢于其他任务(比如:一个工作的某个任务进度只有10%,而其他所有的任务已经运行完毕),则这些任务拖慢了作业的整体执行进度,为了避免这种情况发生,Hadoop的会为该任务启动备份任务,让该推测任务与原始任务同时处理一份数据,哪个先运行完,则将谁的结果作为最终结果。

执行优化机制采用了典型的以空间换时间的优化策略,它同时启动多个相同任务(备份任务)处理相同的数据块,哪个完成的早,则采用哪个任务的结果,这样可防止拖后腿工作任务出现,进而提高作业计算速度,但是,这样却会占用更多的资源,在集群资源紧缺的情况下,设计合理的推测执行机制可在多用少量资源情 下,减少大作业的计算时间。

开心一刻 2022-06-20 13:09:48

相关推荐