独一档技术分享：低成本复现ChatGPT完整流程

随着模型参数的指数型增长，为了加速模型训练和节省高昂资源成本，分布式训练成为主流。然而找到高效的大模型分布式训练方案是一个非常复杂的问题，目前常见的分布式大模型训练方案，都依赖用户人工反复调试以及系统专家的经验来进行配置部署，耗费大量时间与精力，这造成大部分AI开发者使用不友好。

欢迎大家提前试用，开源地址：https://github.com/hpcaitech/ColossalAI

柳泓鑫，新加坡国立大学硕士，师从尤洋教授，对大规模深度学习、AI System等领域有深入研究。现任潞晨科技技术总监，Colossal-AI最新开源方案 ChatGPT 完整复现流程主要贡献者。

刘育良，16岁考入南开大学软件工程专业，硕士毕业于新南威尔士大学人工智能专业。现任潞晨科技资深AI系统工程师，对深度学习分布式训练有深入研究，Colossal-AI自动并行方案主要贡献者。

• https://arxiv.org/abs/2302.02599

• https://arxiv.org/abs/2108.05818

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/