把之前的deepseek +腹地学问库的部署骨子作念了一版第四色官方,
加多骨子:
1, ollama 安设
2,cherry studio在线模子竖立
3,anythingLLM的在线以及文分内割竖立
相关联的著作。
国产AI之光!DeepSeek腹地部署教程,恶果比好意思GPT-4,
DeepSeek+腹地学问库:果真太香了(企业有狡计)
最轻量级的deepseek诓骗,接济联网或学问库
腹地DeepSeek下载慢,中断、内网无法安设有狡计来了
先画个数据历程历程。
图片
Ollama安设(非必须)14B及以上有推理才智,32b比拟实用。显卡最低12GB。内存最佳32GB.
相关的软件,我依然放入到网盘,网不好的同学,不错奏凯下载。
下载相连:https://pan.quark.cn/s/b69829720b68
电脑竖立低:不错参考
管事器繁忙,电脑竖立太低,别急deepseek满血版来了
下载ollama
https://ollama.com/download/
默许为现时电脑的对应的版块,奏凯下载即可。下载以后,沿路点点点即可。
环境变量成立
安设完以后先不要使用,先成立下环境变量。默许模子下载到C盘。一个模子最小也得几个GB.
通过 我的电脑->右键-> 属性-> 高等系统成立-> 环境变量->新建用户变量即可。
图片
OLLAMA_HOST: 0.0.0.0 OLLAMA_MODELS:E:\ai\ollama\modelsOLLAMA_HOST:成立为0.0.0.0 会将ollama管事败露到通盘的汇集,默许ollama只绑定到了127.0.0.1,只可通过localhost或0.0.0.0看望。
OLLAMA_MODELS:成立了模子的存放的地址。
https://ollama.com/library/deepseek-r1
安设DeepSeek模子(可选)怒放:https://ollama.com/library/deepseek-r1剿袭得当我方的模子,12GB~16GB显存提议最大剿袭14B,24GB显存提议32B.
安设话语模子
# 下载模子ollama pull deepseek-r1:14b# 下载或运转模子,泛泛ollama不会运转模子的ollama run deepseek-r1:14b安设向量模子
基于腹地的deepseek搭建个东说念主学问库。使用腹地管事,安设镶嵌模子,用于将文本数据调遣为向量标记的模子。
需要先下载向量模子
# 大喊行窗口试验拉取下即可。ollama pull bge-m3基于Cherry Studio搭建(首选)cherry Studio 文分内割不成剿袭文本长度和重复度。
下载cherry studio左证我方的环境下载cherry studio
图片
安设的时分,稳重安设到其他磁盘,不要在c盘安设。腹地模子学问库竖立腹地ollama图片
图片
操作关节:
找到左下角成立图标剿袭模子管事剿袭ollama点击处理点击模子后头的加号(会自动查找到腹地安设的模子)减号示意依然剿袭了竖立在线模子:图片
1,在模子管事里,剿袭对应的模子管事商,比如硅基流动
2,稳重开关
3,填写我方的密钥
图片
1,剿袭镶嵌模子
2,剿袭要添加的模子
学问库竖立图片
剿袭学问库剿袭添加剿袭镶嵌模子,这个时分有在线和腹地的填写学问库称号添加学问文档cherry不错添加文档,也不错添加目次(这个极其肤浅),添加完以后出现绿色的对号,示意向量化完成。
图片
搜索考据图片
点击搜索学问库输入搜索轨则点击搜索 内行不错看下我搜索的骨子和并莫得都备匹配,不外依然和田地关联上了。大模子处理图片
点击左上角的聊天图标点击助手点击默许助手(你也不错添加助手)剿袭大模子剿袭腹地deepseek,也不错剿袭我方依然灵通的在线管事成立学问库(不成立不会参考)输入提问骨子提问图片
视频专区内行不错看到deepseek依然把限度整理了,并告诉了咱们参考了哪些贵府。
满血版分歧即是大模子的剿袭,在模子管事里竖立下在线的deepseek管事即可。
如若你的学问库有隐秘数据,不要联网!不要联网!不要联网!
有狡计二 基于AnythingLLM搭建 下载AnythingLLM Desktop图片
下载以后,安设的时分,稳重安设到其他磁盘,不要在c盘安设。
AnythingLLM 竖立图片
点击左下角的成立Ollama竖立图片
1. 点击 LLM首选项2. 剿袭ollama当作模子提供商3. 剿袭已安设的deepsek 模子4. 稳重下地址,如若腹地就127.0.0.15. 保存腾讯云竖立(推选,当今最安靖的)图片
1,剿袭openAi通用接口2,竖立腾讯云的大模子BASE地址 : https://api.lkeap.cloud.tencent.com/v13,竖立取得到的APIKEY4,输入模子:deepseek-r15, 成立Token context window 模子单次好像处理的最大长度(输入+输出),如若你的使用学问库提议放大,想多关联险峻文也调大;6,max tokens 模子最大生成tokenapiKey肯求地址https://console.cloud.tencent.com/lkeap/api
接口地址
https://cloud.tencent.com/document/product/1772/115969
ollama show deepseek-r1:14b Model architecture qwen2 parameters 14.8B context length 131072 embedding length 5120 quantization Q4_K_M
14b的最大长度是131072,ollama 默许是无谓成立的。
向量库模子竖立图片
切换使用腹地ollama,也不错自带的。1,剿袭ollama2,剿袭对应的向量模子3,成立分段最大长度4,稳重下url文分内割竖立图片
1,成立文本块大小,左证我方的文本输入。
2,成立文本块重复(提议重复10%~25%)
竖立责任区图片
图片
在1里点击New Thread 新建一个聊天框默许会话上传学问库文档图片
将文档拖拽到上传框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知说念为什么,我这拖拽以后,没看到上传得胜,然后又拖拽了几次。然后聊天框就很多份。
图片
图片
固然你不错竖立而已文档,confluence、github都不错。
图片
ps: 需要稳重的是文档在责任区间内是共用的。
api功能AnythingLLM 不错提供api看望的功能,这个不错当作宇宙学问库使用。
图片
纪念通盘操作下来,AnythingLLM 的体验莫得cherry好。AnythingLLM就像一个包壳的web诓骗(自后查了下,如实是)。AnythingLLM 得具备一定的圭臬念念维,给本事东说念主员用的。非本事东说念主员如故使用cherry吧。当作心爱折腾的开拓东说念主员,咱们不错集结dify使用。
临了个东说念主学问库+腹地大模子的优点
隐秘性很好,无谓惦记我方的贵府外泄、离线可用在责任和学习过程中对我方整理的文档,能快速找到,并自动关联在代码开拓上,能参考你的开拓风俗,快速生成代码创作不易,辛勤内举止动发家的小手。
if 著作灵验: 点赞() # 👍 小手一抖,bug莫得 储藏() # 📂 督察迷途,代码永驻 关爱() # 🔔 追更最新骨子else: 留言吐槽() # 💬 批驳区等你来战临了,咱们邀请了各个AI赛说念的极客和大咖,开了一个10多天的免费公开课,有图文共享,有直播实操栽种。
如若你想深度使用学习AI,况兼想要收拢AI风口赢利,请尽快扫码进群听课程共享。
限额有限,先到先得!
本站仅提供存储管事,通盘骨子均由用户发布第四色官方,如发现存害或侵权骨子,请点击举报。