我认为是在更新的时候。获取parameter sever里的值。这个值应该是最新的那个值。然后计算每个worker的更新梯度。将每个worker更新后的梯度传到parameter sever中。进行同步操作(这里面操作可以根据实际情况设定规则)。
parameter sever原理
最新推荐文章于 2022-07-02 14:34:26 发布
我认为是在更新的时候。获取parameter sever里的值。这个值应该是最新的那个值。然后计算每个worker的更新梯度。将每个worker更新后的梯度传到parameter sever中。进行同步操作(这里面操作可以根据实际情况设定规则)。