最近我一直在找最低成本的跑开源大模型的技术方案，突然发现一个3行代码，0资源，就能跑免费LLAMA 30B大模型。而这个30B的模型，正常运行要60G以上的显卡，效果超过了GPT3.5

Hugging face发布了他们的HuggingChat模型，网址，注意：不用注册，不用token就可以运行

https://huggingface.co/chat/

本来以为这个就很厉害了，发现他们还发布了python代码

这下想跑各种企业自动化也是可以随便玩了了

安装hugchat以后，三行代码搞定

官网原始截图

3行代码搞定大模型，速度很快6s基本能出结果

pip install hugchat

from hugchat import hugchat
chatbot = hugchat.ChatBot()
print(chatbot.chat("HI"))

4.8s出结果

可以干啥

之前写的各种Langchain等自动化的玩法都可以直接玩起来，资源消耗几乎为零。

背后的模型

Huggingface抖了一个机灵，用了一个xor的方法，规避了商业的风险：由于LLaMA模型由Meta AI附加了许可证，因此不可直接分发基于LLaMA的模型。我们提供OA模型的XOR权重。

感谢Mick编写了xor_codec.py脚本，使得这个过程得以实现。
注意：此过程适用于oasst-sft-6-llama-30b模型。在未来，可以将相同的过程应用于其他模型，但校验和将不同。

Huggingface 源代码

https://pypi.org/project/hugchat/

The chat() function receives these parameters:

• text: Required[str].
• temperature: Optional[float]. Default is 0.9
• top_p: Optional[float]. Default is 0.95
• repetition_penalty: Optional[float]. Default is 1.2
• top_k: Optional[int]. Default is 50
• truncate: Optional[int]. Default is 1024
• watermark: Optional[bool]. Default is False
• max_new_tokens: Optional[int]. Default is 1024
• stop: Optional[list]. Default is [""]
• return_full_text: Optional[bool]. Default is False
• stream: Optional[bool]. Default is True
• use_cache: Optional[bool]. Default is False
• is_retry: Optional[bool]. Default is False
• retry_count: Optional[int]. Number of retries for requesting huggingchat. Default is 5