在人工智能领域,大型语言模型(LLM)的本地化部署正逐渐成为开发者关注的焦点。本文将详细介绍如何利用 Ollama 这一轻量级工具,在本地快速部署 DeepSeek-R1 模型(注:DeepSeek-R1 为示例模型,实际部署时需替换为官方支持的模型名称),实现私有化、低延迟的 AI 服务。

什么是 Ollama ?

Ollama 是一个开源的本地化大模型运行框架,支持一键部署 Llama 2、Mistral、DeepSeek 等主流开源模型。其核心优势包括:

  • 轻量级:无需复杂环境配置,支持 macOS/Linux/Windows(WSL)

  • 高性能:利用 GPU 加速推理(需 CUDA 支持)

  • 易扩展:支持自定义模型及参数配置

教程开始

1. 下载安装 Ollama

前往 Ollama 官网下载,https://ollama.com/download

根据自己的操作系统,选择对应的版本进行安装,本文以 Windows 系统为例。

下载好 Ollama 安装包后,打开 OllamaSetup.exe 进行软件的安装。

进入到 Ollama 安装页面后,点击安装页面右下角的 Install 按钮进行安装操作。

出现以下内容后等待安装完成,此页面为安装过程页面。

当安装过程页面消失后,检查电脑右下角任务状态栏是否出现小羊驼标志,如果出现则表示 Ollama 安装成功。

或打开命令提示符窗口,输入 ollama 命令检查是否安装成功。

Windows 系统下,按下键盘的 Win + R 键,在屏幕左下角会出现运行提示框,输入 cmd 按下回车,或点击确定。

随后会出现命令行窗口,在命令行窗口处输入 ollama 后回车,出现如下内容则表示安装成功。

2. 设置环境变量(非必要)

由于后续步骤需要通过 Ollama 下载 DeepSeek R1 模型文件,但 Ollama 默认下载存放路径为 C 盘,因此需要设置一个环境变量,修改模型的下载存放位置。

方法 1:通过系统属性设置

  1. 打开“系统属性”窗口。

  2. 右键点击 此电脑(或 我的电脑)图标,选择 属性。

  3. 在左侧菜单中,点击 高级系统设置。

  4. 进入环境变量设置。

点击新建后,输入以下内容。

变量名为:OLLAMA_MODELS

变量值为自定义的模型存放目录路径,可以自行设置。(需确保文件夹路径存在)

点击确定。

方法 2:通过命令提示符(CMD)设置

  1. 打开命令提示符

    • Win + R,输入 cmd,然后回车。
  2. 使用 setx 设置永久环境变变量。(如需临时设置,则使用 set,仅当前命令窗口下有效,关闭后无效)

示例

shell 复制代码
setx 变量名 "变量值"
shell 复制代码
setx OLLAMA_MODELS "D:\AI\OllamaModels"

运行 DeepSeek R1 模型

前往 Ollama 官网查看 DeepSeek R1 模型规模列表,选择适合自己电脑配置的模型进行安装运行。

1.5b 为 15 亿参数、7b 为 70 亿参数,以此类推,参数越高的模型越强大,但配置要求也更高。

https://ollama.com/library/deepseek-r1

模型规模 推荐配置(GPU) 推荐配置(CPU)
1.5B RTX 1050 (2GB) i5 + 4GB RAM
7B RTX 2070 (8GB) i7 + 16GB RAM
8B RTX 3080 (10GB) i7 + 16GB RAM
14B RTX 3090 (16GB) i9 + 32GB RAM
32B A100 (24GB) Xeon + 64GB RAM
70B A100 (40GB) 双路 Xeon + 128GB RAM
641B H100 (80GB) 四路 Xeon + 512GB RAM

点击复制安装运行命令,前往命令提示符窗口粘贴运行。(这里以 1.5b 模型进行演示,1.5b模型满足大部分配置电脑运行,哪怕是没有独显的轻薄本电脑)

如果模型已经下载过了,此时运行该命令,会直接运行 DeepSeek R1 1.5b 模型

此时以开始下载 DeepSeek R1 1.5b 模型,下载完成后会直接在命令行窗口自动运行大模型,这时候就可以进行简单的问答操作了。

3. 安装图形化页面

由于在命令行中运行AI大模型并不方便,体验不友好,以及功能的限制,因此我们需要一个 Web UI 页面,这里以 Page Assist 为例,当然也可以选择其他自己喜欢的 Web UI。(如:ChatBox、Open Web UI 等)

Page Assist 为一个浏览器 AI 模型 Web UI 插件,因此需要下载对应浏览器版本的插件。

Chrome:pageassist-1.5.0-chrome.zip

Edge:page-assist-1.5.0-edge.zip

Firfox:pageassist-1.5.0-firefox.zip

这里以 Chrome 浏览器为例,下载好浏览器插件压缩包后,将文件解压到一个文件夹中。

解压完成后,打开 Chrome 浏览器,点击右上角的 拼图图标,随后点击 管理拓展程序 进入到拓展管理页面。

将刚才解压好的文件夹,拖动到拓展管理页面下。

此时可以看到,拓展程序中出现了 Page Assist,这时,再次点击右上角的小拼图,然后点击 Page Assist 即可打开 Web UI 页面。

选择刚才下载好的 DeepSeek R1 1.5b 模型。

点击右上角的齿轮,进入设置页面,修改语言为中文。

刷新页面后即可正常使用(注意:首先必须确保 Ollama 处于运行状态)。

通过查看 Web UI 页面中的提示,或检查任务栏中有没有 ollama 羊驼小图标。

由于此处使用的是 1.5b 规模的模型,因此智能程度较低。

Copyright © 2024 - 2025 By LanYun All Rights Reserved.

站点已运行:20年11月27天