打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
利用ollama部署本地deepseek大模型,并建立自己本地知识库的心得
1、安装Ollama并下载大模型
(1)下载、安装Ollama(Ollama)。如果不能下载,可以借助第三方软件下载平台。
(2)安装好Ollama后打开Ollama,选择需要安装的大模型比如deepseek。根据自己电脑配置从1.5b,7b,14b,32b等选择,点右侧的复制。
7b命令:ollama run deepseek-r1:7b
1.5b命令:ollama run deepseek-r1:1.5b。
然后通过快捷键:Win+R,打开运行,输入CMD打开控制台,右键粘贴,回车。
(3)下载向量模型。个人推荐bge-m3,对中文支持很好。同样是打开Ollama。选择模型bege-m3,复制到控制台粘贴,回车。
2、安装本地知识库管理软件或插件。
(1)anythingLLM
(2)Cherry-Studio
(3)Page Assistb 。Google或Edge插件,直接用浏览器管理本地知识库。
下面说说这几天自己部署本地知识库的心得:
1、Deepseek大模型的选择,经过测试本机配置:CUP i3 12100f,显卡rx590gm 显存8g,32G内存。Deepseek 14b可顺畅运行。 所以个人建议,在选择模型时可以多下载几个试试,比如7b,8b,14b,不要只看网上推荐的模型。当然参数越多,效果越好。
2、向量模型的选择,我推荐bge-m3。在anythingLLM工作区,大模型在推理时,与知识库里的知识相关性很高。很多人推荐nomic-embed-text,我使用时好像效果不是太好,当然也许是我个人没设置好。向量选择很关键,设置不好,大模型回答问题时会与知识库内容相关项很差。
3、anythingLL/Cherry-Studio/Page Assistb(网页插件)
三个都能建立本地知识库,各有特色。
个人电脑测试:anythingLLM反应速度比Cherry-Studio快。
这里重点提一下anythingLLM:
(1)注意知识库文件编码问题,编码不合适会识别为乱码。
(2)anythingLLM回答问题时,工作区的资料是否订选的问题。如果不订选,anythingLLM会从工作区自主选择4个文件作为参考(默认参考文件是4个,可以在聊天界面改),如果订选,就是指定工作区某个或某几个文件作为参考。
总结:
大模型回答问题时是否与个人知识库紧相关,重点有三个:
1. 模型选择
2. 向量模型的选择
3. 知识库管理工具的选择
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
Deepseek最近那叫一个火,搞得搭建本地知识库也成热门事儿了
Deepseek R1打造本地化RAG知识库:安装部署使用详细教程
在腾讯 HAI 上使用 DeepSeek + RAG 实现 SAP 私人知识库
DeepSeek 本地知识库:真的太香了(修订版)
基于Ollama+DeepSeek+AnythingLLM轻松投喂打造本地大模型知识库|调用|应用程序|image|命令提示符
【实用工具】使用ollama和anythingLLM快速搭建本地知识库
更多类似文章 >>
生活服务
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服