AbaAba-AI

“阿巴阿巴AI”是基于RWKV的本地轻量级聊天AI，无需网络完全本地运行，无需显卡纯CPU也可以运行，也就是说配置低的电脑也可以本地运行聊天AI了。

环境配置

推荐Python版本 3.9
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、torch  

运行要求

最低4G运行内存（CPU+4G内存，可以运行430m的小模型）
最高不限（最高可运行14b的大模型，聊天质量和效果更好）  

运行设置

根据自己电脑配置在模型网站（https://huggingface.co/RWKV） 下载合适的模型
下载的所有文件放在model文件夹内，并修改main.py第12行代码，将’rwkv-4-world-430m’修改为自己下载的模型文件夹
运行main.py，在浏览器中打开http://172.0.0.1:5000 即可开始对话  

演示效果

该演示环境为CPU+4G运行内存，使用’rwkv-4-world-430m’模型

核心代码

#使用transformers读取本地模型
model = AutoModelForCausalLM.from_pretrained(output_folder, trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained(output_folder, trust_remote_code=True)
#文本预测
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=1, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
text=tokenizer.decode(output[0].tolist(), skip_special_tokens=True)#这个就是对于我们输入的文本进行预测后的结果

扫码免费获取资源：