整理了一份关于分布式训练调度的阅读笔记，重点在通信开销和显存切分两处的取舍。原文里的实验设置写得偏乐观，复现时要按更保守的估计来算。
bs=64
服务器只放静态文档和几份备份，没有别的服务。带宽有限，请不要做大批量抓取。