本机搭建RWKV语言模型（最低只需2G显存）

InsectMk2024-03-042024-03-04

前言

之前一直在使用ChatGLM2-6B，不得不说，这个语言模型真的很厉害，有很强的上下文功能，但是太吃性能了。

我的笔记本（3050ti laptop）让它生成一个冒泡排序算法需要生成15分钟（头痛），性能强悍的主机可以查看本地部署开源语言模型ChatGLM2-6b。

所以打算换一个响应速度快的语言模型，在搜索过程中注意到了RWKV LM这个语言模型，具体的内容不太清楚，我只知道2G显存就能够跑，那肯定响应速度很快啊。

可以可视化操作RWKV语言模型，非常方便。

到Releases页面下载最新版本，Windows使用xxxxx_windows_x64.exe安装包。

对接各种语言模型的前台页面，用于管理对话消息，也是非常好用。

到Releases页面下载最新版本，Windows使用xxxxx-Setup.exe安装包。

先创建一个空的文件夹，例如RWKV文件夹，将下载好的xxxxx_windows_x64.exe可执行文件放入此文件夹中。

然后双击可执行文件，会自动在当前文件夹下生成所需要的配置文件和目录。

首次进入软件主页后，点击运行，会自动下载python

再次点击运行下载python依赖

等待下载完成

python依赖下载完成后，再次点击运行，会提示模型文件不存在，点击提示框中的下载

可以到下载页查看下载进度

点击设置，开启允许访问API

回到主页面，再次点击运行即可

双击xxxxx-Setup.exe即可完成安装，会在桌面生成快捷方式。

设置AI模型提供方为OpenAI API，设置API域名为http://127.0.0.1:8000,OpenAI API密钥留空。

使用时请保证RWKV-Runner保持运行。