科技博客

开源方案低成本复现 ChatGPT 流程，仅需 1.6GB 显存即可体验

开源并行训练系统 ColossalAI 表示，已低成本复现了一个 ChatGPT 训练的基本流程，包括 stage 1 预训练、stage 2 的奖励模型的训练...