有没有想过用自己电脑的CPU微调大模型?来看——LoFT

这个项目是一个轻量级、CPU 友好的工具包,可以使用 QLoRA 微调 1–3B 的 大模型。并且可以合并并导出模型为 GGUF 格式。量化支持Q4_0、Q5_1 等。

然后!所有这一切都在你本地笔记本电脑的命令行界面完成。无需 Colab。无需 GPU。无需云服务器。

地址:http://github.com/diptanshu1991/LoFT

Image