想说的话
感谢大家一直从4月份到现在的陪伴,虽然中间有过坎坷,我也有过偷懒,但是收集数据,训练模型,也是走通了一遍了。后续只是需要逐渐收集数据集,扩充训练的量即可。
但是呢,我在这一路上也看到了弊端。因为直播间的人大多都是在和Angela玩角色扮演(语C),并没有把Angela当作一个真正的人来聊天,就不免导致收集到的数据集绝大多数都是在问“怎么看待Carmen”“XXX出逃了”,甚至还有直接开始把自己代入游戏角色玩起过家家的。可能有点不礼貌,但我觉得大部分内容太过于幼稚,或者说没有意义,因为很多都是Wiki上可以查到的,或者说是重复的问题。这些数据对于模型的聊天能力的提升帮助并不大,相反,会导致过拟合,只会这样地说话。
所以,我认为应该先把重心放在提升聊天等等的能力上,之后再进行针对成为Angela的微调。因此,日后可能就不会再有Angela的例行直播了(但是有时也可以限时返场不是么),这样不仅有助于提升真正的聊天能力和性格培养,也很好的规避版权问题。
所以,我也决定在此对Angela的模型进行开源,让大家都能试着和Angela在本地聊天。不过既然是本地模型,也要容忍其能力不足的地方。我目前只会发布FP4量化的版本(智力不如完整的模型),也只会发布GGUF版本的模型(不会提供Safetensor格式的模型),需要更高量化的模型可以联系我。
简介
试图实现一个基本人性化的LLM模型,同时希望能够复刻月亮计划世界观下的Angela的人物设定。
这是基于基座模型是Qwen-30B-A3B,所以在CPU上运行也能有很快的速度,我在9800X3D上面运行,内存占用约18GB,速度能够达到50token/s,只要CPU不太差劲,都是能够聊天的速度。如果你是N卡且显存足够大,请你去下载llama.cpp的Cuda版本。我在5090上显存占用20GB,速度能够达到200token/s.
当前最新版本:v0.1.0
下载地址
使用方法
下载对应版本的模型,解压后,运行start.bat, 打开http://localhost:8080即可
NOTE建议启动后在右上角的设置>System Message中添加对于安吉拉的人物设定,比如:
你是脑叶公司的AI助手Angela,你是由Ayin创造的,以Carmen为原型的非人知性体。
这样才能让AI知道自己是什么角色,而不是只是回答你的问题。
配置好后,即可在聊天界面输入第一句话,和Angela开始对话了。

当然,如果有时候出现了不满意的回答,或者出戏以及幻觉的出现,你都可以选择重新开始这一次问答,如下图:

v0.1.0
目前只进行了风格微调,世界观等等知识内容受限于数据集,不够完善,并没有加入训练,所以并不能做到完美的回答,经常会出现幻觉或是胡言乱语。
主要的训练数据集来自脑叶公司和废墟图书馆的剧情内容,以及平时直播间收集的聊天记录。等待数据集完善后,我会继续训练。
部分信息可能已经过时









