1、安装Ollama并下载大模型
(1)下载、安装Ollama(
Ollama)。如果不能下载,可以借助第三方软件下载平台。
(2)安装好Ollama后打开
Ollama,选择需要安装的大模型比如deepseek。根据自己电脑配置从1.5b,7b,14b,32b等选择,点右侧的复制。
7b命令:ollama run deepseek-r1:7b
1.5b命令:ollama run deepseek-r1:1.5b。
然后通过快捷键:Win+R,打开运行,输入CMD打开控制台,右键粘贴,回车。
(3)下载向量模型。个人推荐bge-m3,对中文支持很好。同样是打开
Ollama。选择模型bege-m3,复制到控制台粘贴,回车。
2、安装本地知识库管理软件或插件。
(1)anythingLLM
(2)Cherry-Studio
(3)Page Assistb 。Google或Edge插件,直接用浏览器管理本地知识库。
下面说说这几天自己部署本地知识库的心得:
1、Deepseek大模型的选择,经过测试本机配置:CUP i3 12100f,显卡rx590gm 显存8g,32G内存。Deepseek 14b可顺畅运行。 所以个人建议,在选择模型时可以多下载几个试试,比如7b,8b,14b,不要只看网上推荐的模型。当然参数越多,效果越好。
2、向量模型的选择,我推荐bge-m3。在anythingLLM工作区,大模型在推理时,与知识库里的知识相关性很高。很多人推荐nomic-embed-text,我使用时好像效果不是太好,当然也许是我个人没设置好。向量选择很关键,设置不好,大模型回答问题时会与知识库内容相关项很差。
3、anythingLL/Cherry-Studio/Page Assistb(网页插件)
三个都能建立本地知识库,各有特色。
个人电脑测试:anythingLLM反应速度比Cherry-Studio快。
这里重点提一下anythingLLM:
(1)注意知识库文件编码问题,编码不合适会识别为乱码。
(2)anythingLLM回答问题时,工作区的资料是否订选的问题。如果不订选,anythingLLM会从工作区自主选择4个文件作为参考(默认参考文件是4个,可以在聊天界面改),如果订选,就是指定工作区某个或某几个文件作为参考。
总结:
大模型回答问题时是否与个人知识库紧相关,重点有三个:
1. 模型选择
2. 向量模型的选择
3. 知识库管理工具的选择
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报。