香港科技大学开源LM Flow框架，训练专属ChatGPT #chatgpt

3090单卡5个小时，训练自己专属ChatGPT，附开源代码。香港科技大学开源LMFlow框架，让每个人都可以在有限的资源下训练出自己的专属ChatGPT。LMFlow不需要从头预训练，只需要以finetune作为切入点即可。基于70亿参数的LLaMA，只需1张3090、耗时5个小时，就可以训练一个专属于自己的个性化GPT，并完成网页端部署。

开源库作者们已经利用这个框架单机训练。330亿参数的LLaMA中文版，并开源了模型权重用于学术研究。

据作者介绍LMFlow拥有四大特性：可扩展、轻量级、定制化和完全开源。基于此，用户可以很快地训练自己的模型并继续进行二次迭代。