### scheduler

DeepX框架的scheduler，是front和excuter之间的桥梁。

front只负责搭建抽象计算图，excuter负责执行算子，而scheduler负责将抽象计算图转换为执行计算图，并发送给excuter。

#### 算子注册器

算子注册器，接收excuter的算子及精度列表。


#### 调度器

scheduler将实现以下能力：

+ 根据计算图的依赖关系，确定算子的执行顺序。
+ 算子融合。抽象计算图都是由最基础的算子组成，而执行计算图可以由多个基础算子融合而成。
+ 算子消除。根据数学链式法则，有些算子可以相互抵消，如log和exp，mul和div,add和sub。
+ TP：tensor 并行，tensor自动拆分计算
+ PP：pipeline 并行,包括 dual-mode：前向和后向
+ MP：model 并行，模型自动拆分计算
+ DP：data 并行，多路batch并行训练