本地部署DeepSeek大模型:告别在线延迟,打造个性化知识助手
2025-02-13 11:09:46

在AI技术日新月异的今天,DeepSeek作为一款开源的国产大模型,凭借其卓越的性能和广泛的应用场景,迅速赢得了用户的青睐。然而,随着用户数量的不断增加,DeepSeek的在线服务也面临着前所未有的访问压力,导致响应延迟甚至服务中断的情况时有发生。为了解决这一问题,本文将详细介绍如何通过Ollama和AnythingLLM两款工具,实现DeepSeek的本地部署,并搭建个性化的私有知识库。

一、Ollama:本地大模型运行神器

想要摆脱网络依赖,享受流畅的AI体验,Ollama这款开源的本地大模型运行工具无疑是首选。它支持多种操作系统,安装过程简单快捷。只需访问Ollama的官方下载页面(https://ollama.com/download),选择对应的操作系统版本进行下载并安装即可。安装完成后,记得配置好环境变量,以便更好地管理模型存储路径和运行参数。

  1. 点击Install

           

  2.在D:\Program Files\OllamaModels创建模型存储文件夹,并将其绑定到创建的OLLAMA_MODELS环境变量

二、DeepSeek模型本地部署

有了Ollama作为基础,接下来就可以着手部署DeepSeek模型了。只需进入Ollama的官方网站(https://ollama.com/),在搜索框中输入“Deepseek-r1”,即可找到我们需要的模型。根据自己的电脑硬件配置选择合适的模型大小,复制相应的安装命令,并在Ollama的运行窗口中粘贴执行,即可完成模型的下载和部署。这样,无需联网也能随时调用DeepSeek的强大功能了。

三、AnythingLLM:可视化图文交互界面

虽然Ollama能够让我们在本地运行DeepSeek模型,但其操作界面相对简陋。这时,AnythingLLM这款可视化图文交互界面工具就派上了用场。它不仅能与本地Ollama运行的DeepSeek模型无缝对接,还能将各种数据源(如文档、笔记、网页等)连接到模型中,构建个性化的知识库问答系统。只需访问AnythingLLM的官方下载页面(https://anythingllm.com/desktop),根据自己的系统选择版本进行下载并安装即可。安装过程中,记得选择Ollama作为LLM服务,并确保Ollama本地部署的模型正常运行。

  1. 进入https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。

  2. 点击 Deepseek-r1 后会进入详情界面,里面有多个参数规模可供选择,有1.5b 到 671b多个选项。

  3. 使用cmd打开Ollama运行窗口,并粘贴刚才复制的命令,点击回车开始运行安装

四、搭建私有本地知识库

完成了DeepSeek模型的本地部署和AnythingLLM的安装后,我们就可以开始搭建自己的私有本地知识库了。首先,在AnythingLLM中进行一些前期配置,包括选择Ollama作为LLM服务、设置Embedder首选项和聊天设置等。然后,创建一个样本表格以便测试使用,并上传自己的样本数据。AnythingLLM会对上传的文档进行切分和词向量化处理,从而构建出一个个性化的知识库。后续还可以根据自己的需求继续投喂更多数据,不断完善和优化知识库。

  1. 进入https://anythingllm.com/desktop网址中,根据自己的系统选择下载的版本。

  2. 安装



 3.






五、告别在线延迟,享受流畅AI体验

通过Ollama和AnythingLLM两款工具的配合使用,我们不仅成功实现了DeepSeek模型的本地部署,还搭建了一个个性化的私有知识库。这样一来,我们就能够彻底告别在线服务的延迟和宕机问题,随时随地享受流畅的AI体验。无论是工作学习还是生活娱乐,都能得到AI的智能化辅助和支持。