AI 教程 · 2026年9月18日 - AI实战指南

无涯2026-09-182026-10-09

用 Ollama 本地跑 LLM：从安装到 API 调用

📅 教程日期：2026-09-18
适用读者：对本地部署大模型感兴趣的开发者、AI 爱好者

背景

2026 年，云端大模型 API 已经非常成熟，但许多场景仍需本地部署：

数据隐私：敏感业务数据不能上传到云端；
离线可用：无网络环境也要能推理；
成本控制：高频调用云端 API 费用可观，本地跑一次只需电费；
定制性强：可微调、可换任意开源模型。

然而，本地跑 LLM 的门槛曾很高：GPU 显存、驱动配置、模型格式转换…… 直到 Ollama 出现，它将模型管理、推理引擎、CLI 和 API 封装成一条命令，让本地跑大模型变得像安装软件一样简单。

本教程将带你：

安装 Ollama；
下载并运行一个大模型（以 Qwen2.5 为例）；
通过命令行交互；
调用本地 HTTP API；
可选安装 Web 界面（Open WebUI）。

准备环境

硬件要求

最低：8 GB 内存，无独立显卡也能跑 1.5B / 3B / 7B 的量化模型（速度较慢）
推荐：16 GB 内存 + NVIDIA 显卡（至少 6 GB 显存），可流畅运行 7B/14B 模型
Mac 用户：Apple Silicon（M1/M2/M3/M4）内存 16GB 以上体验很好

本教程的示例模型是 qwen2.5:3b，仅需约 2.5 GB 磁盘空间，普通电脑都能跑。

操作系统支持

Windows 10/11（x64）
macOS 11+（Big Sur 及以上，Apple Silicon 或 Intel）
Linux（x86_64 / arm64，支持 CUDA / ROCm）

需要提前准备的账号/软件

无需注册任何账号
命令行终端（Terminal / PowerShell）
普通浏览器（用于访问 Web UI，可选）

操作步骤

步骤 1：安装 Ollama

访问官网 https://ollama.com/download 下载对应系统的安装包。

Windows / macOS

下载 .exe（Windows）或 .dmg（macOS），双击安装，一路 Next / 拖入 Applications 即可。

Linux

在终端执行一键安装脚本：

1	curl -fsSL https://ollama.com/install.sh \| sh

安装完成后，Ollama 会自动作为后台服务运行（Windows/macOS 会常驻菜单栏）。

步骤 2：验证安装

打开新的终端窗口，运行：

1	ollama --version

如果看到类似 ollama version 0.x.x 的输出，说明安装成功。

步骤 3：下载并运行一个模型

我们选择阿里开源的 Qwen2.5 系列——中文能力优秀，体积可控。

在终端执行：

1	ollama run qwen2.5:3b

第一次执行会自动下载模型（约 2.5 GB），之后直接进入交互式对话界面。
输入 你好，介绍一下你自己，按回车，模型会回复，请稍等片刻。

1
2
3

>>> 你好，介绍一下你自己
你好！我是 Qwen2.5，一个开源的大型语言模型。我可以...
>>> /bye   # 退出交互模式

若你有 NVIDIA 显卡，Ollama 会自动识别并利用 GPU 加速；无 GPU 则用 CPU 跑，速度慢一些实属正常。

步骤 4：玩转 Ollama 常用命令

命令	作用
`ollama list`	列出已下载的模型
`ollama pull qwen2.5:7b`	只下载不运行
`ollama rm qwen2.5:3b`	删除模型
`ollama ps`	查看当前加载的模型 / 显存占用

例如：

1	ollama list

输出示例：

1 2	NAME ID SIZE MODIFIED qwen2.5:3b ... 2.5 GB 5 minutes ago

步骤 5：通过 HTTP API 调用

Ollama 在运行后默认开启本地 API（端口 11434）。你可以在任何编程语言中调用它。

新建一个终端窗口，先确保 Ollama 服务在跑：

1	ollama serve

若已安装为服务，此命令会提示“服务已在运行”，忽略即可。

然后测试 API：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:3b",
  "prompt": "用一句话解释什么是神经网络",
  "stream": false
}'

返回 JSON 结果，其中 response 字段就是模型的回答。

如果你不想用 curl，也可以用 Python（需安装 requests）：

import requests

resp = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "qwen2.5:3b",
        "prompt": "用一句话解释什么是神经网络",
        "stream": False
    }
)
print(resp.json()["response"])

步骤 6（可选）：安装 Open WebUI，获得 ChatGPT 体验

Open WebUI 是一个开源的网页聊天界面，支持 Ollama。

最简单的安装方式（需要 Docker）：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

启动后，打开浏览器：