并行训练里最容易被忽略的通信

算力堆上去之后，慢的往往是卡与卡之间的同步。

增加 GPU 不一定线性变快。梯度同步、流水线气泡和数据读取会把新增的算力吃掉。