AI 教程 · 2026年10月2日 - AI实战指南

2026-10-02 AI教程：基于 Ollama 本地部署 Qwen2.5 7B 并接入 Open WebUI

背景

2026 年的今天，云端大模型已经很强，但很多场景仍然需要本地推理：隐私敏感数据不能上传、离线环境需要 AI 能力、API 费用控制、或者单纯想折腾自己的「私人 AI 助手」。

Ollama 是目前最流行的本地 LLM 运行工具之一。它把模型下载、量化、加载、API 服务全部简化成了几条命令。本教程将以 qwen2.5:7b 为例，完整演示：

  1. 在本地用 Ollama 运行一个大模型
  2. 通过 REST API 调用它
  3. 安装 Open WebUI 获得一个类似 ChatGPT 的网页对话界面

整个过程不需要 GPU 也能跑，只是速度快慢有区别。

准备环境

硬件建议

  • CPU：4 核及以上（x86_64 / ARM64 均可）
  • 内存：至少 8GB；推荐 16GB 以上（7B 量化模型约占用 5-6GB）
  • 磁盘：至少 10GB 剩余空间
  • GPU：非必需，但有 NVIDIA GPU（8GB 显存以上）速度会明显更快

操作系统

Windows 10/11、macOS、主流 Linux 发行版均可。本教程的命令在 Linux/macOS 终端和 Windows PowerShell 中基本通用。

第一步：安装 Ollama

Linux / macOS

1
curl -fsSL https://ollama.com/install.sh | sh

Windows

从官网下载安装包：https://ollama.com/download，安装后启动 Ollama。

验证安装

1
ollama --version

能看到版本号即安装成功。

操作步骤

1. 拉取模型

用 ollama pull 下载 qwen2.5:7b。这是一个中英文都很强、资源占用适中的模型。

1
ollama pull qwen2.5:7b

下载完成后查看本地模型列表：

1
ollama list

你应该能看到类似：

1
2
NAME           ID              SIZE      MODIFIED
qwen2.5:7b     a186e0d7c8e9    4.7GB     ...

也可以换成 llama3.1:8b、deepseek-r1:8b 等其他模型，命令相同。

2. 运行模型并测试对话

执行：

1
ollama run qwen2.5:7b

进入交互模式后输入：

1
请用三句话介绍人工智能

模型会流式返回回答。输入 /bye 退出。

3. 确认 Ollama API 服务

Ollama 默认在后台监听 11434 端口。打开新终端，执行：

1
curl http://localhost:11434/api/tags

如果返回包含模型信息的 JSON，说明 API 服务正常。

如果提示连接失败，可以手动启动服务：

1
ollama serve

保持该终端窗口开启。

4. 用 REST API 调用模型

Ollama 提供了标准 HTTP API。示例：

1
2
3
4
5
6
7
curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:7b",
    "prompt": "用一句话解释什么是RAG",
    "stream": false
  }'

返回的 JSON 中 response 字段就是模型答案。

如果你更喜欢 Python，也可以这样调用：

1
pip install requests

保存脚本 test_ollama.py：

1
2
3
4
5
6
7
8
9
10
11
import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "qwen2.5:7b",
        "prompt": "用Python写一个快速排序",
        "stream": False
    }
)
print(response.json()["response"])

运行：

1
python test_ollama.py

5. 安装 Open WebUI（网页聊天界面）

命令行虽然能用，但不如网页直观。我们使用 Open WebUI 把它变成类似 ChatGPT 的界面。

推荐方式：Docker

如果你已经安装 Docker，执行：

1
2
3
4
5
6
7
docker run -d \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Linux 用户如果 host.docker.internal 解析失败，请加上参数：
--add-host=host.docker.internal:host-gateway

不用 Docker 的方式：

1
2
pip install open-webui
open-webui serve

启动后，浏览器访问：

1
http://localhost:3000

第一次打开会要求注册账号。注册并登录后，进入主界面。

6. 在 Open WebUI 中选择模型对话

  1. 点左上角「选择模型」
  2. 找到 qwen2.5:7b
  3. 开始聊天

你还可以在「设置」中调整温度、上下文长度等参数。

7. 可选：上传本地知识库

Open WebUI 支持 RAG（检索增强生成）。你可以把 PDF、TXT、Markdown 文档喂给它，让模型基于你的资料回答。

步骤：

  1. 点击聊天界面左侧「知识」
  2. 新建一个知识库
  3. 上传文档
  4. 新建聊天时勾选该知识库

之后向模型提问，它会先检索文档内容再回答，非常实用。

8. 常用维护命令

1
2
3
4
5
6
7
8
# 查看正在运行的模型
ollama ps

# 删除某个模型释放空间
ollama rm qwen2.5:7b

# 查看 Ollama 服务日志
journalctl -u ollama   # Linux systemd 系统

总结

通过本教程，你在本地完成了一次「LLM 私有化部署」：

  • 使用 ollama pull qwen2.5:7b 下载并运行大模型
  • 通过 localhost:11434 调用本地大模型 API
  • 使用 Docker 部署 Open WebUI，获得浏览器聊天界面
  • 可选上传知识库，打造自己的私人 AI 助手

这套环境完全离线可用，数据不外传。下一步可以：

  • 尝试更多模型：deepseek-r1:8b、llama3.1:8b、gemma2:9b 等
  • 接入本地向量库：结合 Chroma / FAISS 构建更完整的 RAG
  • 用 LangChain 或 LlamaIndex 调用 Ollama API，编写自动化 AI Agent

如果你有 NVIDIA GPU，还可以配置 ollama 使用 GPU 加速：ollama run qwen2.5:7b 会自动检测可用显存，无需额外设置。如果没有 GPU，优先选择参数量更小的模型如 qwen2.5:3b，体验会更流畅。

希望这份教程能帮你打开本地 AI 世界的大门。祝折腾愉快！