百川智能发布Baichuan-13B 开源可免费商用

日前，百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。

未来大模型生态开源闭源并存已经是不争的事实，如同iOS与安卓。但闭源会要求企业访问公网以及难以定制化适配，使用场景受限。而开源能够使企业轻松地借助专有数据进行微调和私有化部署，进而促进百行千业的良性发展生态。

Baichuan-13B中英文大模型是百川智能发布的第二款通用大语言模型，而在前不久的6月15日，百川智能就已经推出了首款70亿参数量的中英文语言模型Baichuan-7B。

预训练模型“底座”因其灵活的可定制性，适合具有一定开发能力的开发者和企业，而普通用户则更关注具有对话功能的对齐模型。因此百川智能在发布预训练模型Baichuan-13B-Base的同时还发布了其对话模型Baichuan-13B-Chat，Baichuan-13B-Chat部署简单、开箱即用，极大降低了开发者的体验成本。

相比此前发布的Baichuan-7B，Baichuan-13B在1.4万亿token数据集上训练，超过LLaMA-13B 40%。

在语言模型中，上下文窗口长度对于理解和生成与特定上下文相关的文本至关重要。Baichuan-13B上下文窗口长度为4096，不同于Baichuan-7B的RoPE编码方式，Baichuan-13B使用了ALiBi位置编码技术，能够处理长上下文窗口，甚至可以推断超出训练期间读取数据的上下文长度，从而能够更好的捕捉文本中上下文的相关性，做出更准确的预测或生成。

作为一款中英文双语大模型，Baichuan-13B采用了相对平衡的中英文语料配比和多语言对齐语料，从而在中英两种语言上表现均很优异。在同等参数量的开源模型中堪称实力担当，能更好满足商业化场景需求。

有些模型为了能在评测中取得更好的成绩，会在基座模型和对话模型上引入较多针对benchmark的优化。此举虽然可以在榜单上获取更高的分数，但是没有本质地提升模型的基础能力，并且在下游任务中易产生回复长度短、质量低的问题，造成高分低能的现象。百川智能的Baichuan-13B-Base和Baichuan-13B-Chat未针对任何benchmark测试进行专项优化，保证了模型的纯净度，具有更高的效能和可定制性。

众所周知大模型的训练成本极高，在海量算力的成本压力下OpenAI和谷歌都选择了闭源来保证自家大模型的优势地位。但是从计算机科学与人工智能的发展历程来看，开源始终对软件技术乃至IT技术发展有着巨大的推动作用。

据悉，Baichuan-13B-Base 不仅对学术研究完全开放，所有开发者均可通过邮件向百川智能申请授权，在获得官方商用许可后即可免费商用。

并且，为了尽可能降低模型的使用门槛，百川智能同时开源了Baichuan-13B-Chat的INT8和INT4两个量化版本，在近乎无损的情况下可以很方便的将模型部署在如3090等消费级显卡上。

本次百川智能发布的Baichuan-13B中英文大语言模型，凭借百亿参数量已经展现出可以媲美千亿模型的能力，大大降低企业部署和调试的使用成本，让中国开源大模型商业化进入真正可用阶段。

同时，其开源模型的代码完全公开，所有人都可以随时查看，算法透明，不仅有利于研究人员深入探索和研究模型原理，并且有利于建立和深化公众对大模型的信任。

百川智能创始人王小川表示，期待国内大模型行业以及垂直领域能够在此基础上开发出更多优秀产品及行业应用，让技术在真实、丰富的应用场景中快速迭代创新。“我们愿与众多企业、开发者一道为国内开源社区的生态繁荣贡献自己的力量。”