使用RWKV-Runner进行模型训练（三）开始训练

模型下载

数据准备好后还需要选择合适的基底模型，推荐选择RWKV-4-World-CHNtuned-1.5B-v1-20230620-ctx4096.pth，该模型不仅显存占用低还具有中文增强的效果。

到Hugging Face下载适合的模型。

训练

使用RWKV-Runner集成的LoRA微调功能对基底模型进行微调，当出现图形化Loss曲线时，意味着训练已正式开始。

训练时间会很长，需要耐心等待。

image-20240418182324540

训练过程中会在LoRA模型一栏，出现多个训练完成的LoRA权重。

选择一个权重，并点击合并模型，将会生成一个直接可用的完整模型。

image-20240418182347673

在配置页面选择训练好的模型，点击运行即可正常启动，并暴露对话接口。

其他

WSL可能会出现内存不足的情况，需要手动设置WSL内存上限

修改C:\Users\你的用户名\.wslconfig：

1
2
3
[wsl2] 
memory=24GB
swap=12GB

还有训练完成后可能会出现WSL内存不释放的情况，导致内存占用很高，可以使用以下命令释放内存

1
wsl --shutdown

参考文档

RWKV语言模型从入门到放弃，保姆级Training、Fine-tuning、Lora入坑教程

RWKV系列2-RWKV-LM

RWKV的微调教学，以及RWKV World：支持世界所有语言的生成+对话+任务+代码

大模型训练数据集介绍

RWKV-Runner LoRA微调功能使用说明