LaWGPT：基于中文法律知识的大型语言模型

github仓库

嘿，大家好！今天我在 GitHub 上发现了一个名叫 LaWGPT 的项目，真是个有意思的发现！现在就来和大家分享一下！

LaWGPT 是一个基于中文法律知识的大型语言模型，公开发布于2023年5月13日。它在通用中文语言模型（如 Chinese-LLaMA 和 ChatGLM等）的基础上进行了增强，加入了专门的法律词汇，并经过广泛的中文法律语料预训练，从而提高了模型对法律语义的理解能力。此外，该模型还使用了基于对话的问答数据集和中国司法考试数据进行微调，进一步加强了对法律内容的理解和处理能力。

LaWGPT 使用的模型是 LaWGPT-7B-alpha，它是基于 Chinese-LLaMA-7B 模型构建的，并经过使用30万个法律问答对数据的微调。有些许的厉害！

现在，让我们来看一下 LaWGPT 生成的一些示例输出：

欠了信用卡的钱还不上要坐牢吗？

请问加班工资怎么算？

不过，需要注意的是，LaWGPT 在当前阶段存在一些局限性。由于计算资源和数据规模有限等因素，模型可能在记忆和语言能力方面有一些弱点，导致在处理事实知识任务时可能出现不准确的情况。此外，与人类意图的一致性仍处于早期阶段，这意味着模型可能会生成一些不可预测的有害或价值不一致的内容。模型的自我认知和中文理解能力仍有改进的空间。

因此，在使用 LaWGPT 之前，请务必了解这些局限性，以避免产生误解和不必要的麻烦。如果你有任何问题，建议先查阅常见问题解答或之前的问题，看看是否能解决你的疑问。让我们保持礼貌地讨论，共同构建一个和谐的社区。

想要安装 LaWGPT 吗？首先，你需要完成一些设置步骤。从 LaWGPT 的代码库中下载代码，创建一个 Python 3.10 的环境，安装所需的依赖项。最后启动WebUI，这样你就可以轻松地调整参数并查询你需要的法律问题了。如果你的显卡显存小于16GB，就不要尝试了，显存不够。Colab 也不太适合，因为只有12GB的内存，不够用。但是你可以使用 CPU 方式运行，虽然会慢一些，但也能运行。

关于二次训练，如果使用了8张 Tesla V100-SXM2-32GB，二次训练阶段大约需要耗时24小时/轮次，微调阶段大约需要耗时12小时/轮次。

如果你对这个项目感兴趣，可以在这个项目的 GitHub 地址上找到更多信息和源代码：https://github.com/pengxiao-song/LaWGPT

好啦，今天的分享就到这里。敬请期待更多令人激动的科技更新！感谢大家一直以来的支持，你们真的太棒了！