Welcome to llama-pipeline-parallel Discussions!

[SparkJiao]

👋 Welcome!

We’re using Discussions as a place to connect with other members of our community. We hope that you:

• Ask questions you’re wondering about.
• Share ideas.
• Engage with other community members.
• Welcome others and are open-minded. Remember that this is a community we
  build together 💪.

To get started, comment below with an introduction of yourself and tell us about what you do with this community.

[renmada]

请教一个问题，pipeline并行会比只用zero3显存优化更多吗

[SparkJiao]

不会。Pipeline只是将模型拆成几部分分散到不同的卡上，本质上不会减少总的显存使用量，但是能够减少每张卡上的显存的负担。Zero-1/2使用的前提是单张卡能够放下整张模型。Zero-3 + Infinity Offload可以放下很大的模型，但代价是牺牲大量的时间做参数从CPU/NVMe到GPU的转移，远不如pipeline效率高。

[renmada]

那如果只是Zero-3不加offload和pipeline，哪个能训练更大的模型

[SparkJiao]

pipeline

[realgump]

您好，想请教下，我在zero3迁移到pp+zero1之后，显存占用反而提升了，速度也慢了不少，这正常吗？

[SparkJiao]

可以尝试调整一下micro batch size 和 gradient accumulation step，gradient accumulation开的比较小的话气泡会比较大，此时PP接近于完全串行的model parallel

[realgump]

谢谢。我的情况下使用相同的micro batch size，原本zero3可以容纳的序列长度，放到pp上反而oom了，感觉很奇怪。