AI 教程 · 2026年9月4日 - AI实战指南

无涯2026-09-042026-10-09

2026-09-04 AI教程：用Ollama本地跑LLM——从安装到打造私人AI助手

背景

随着大语言模型（LLM）的飞速发展，云端API虽然方便，但存在隐私泄露风险、联网依赖、按量付费成本高等问题。越来越多的人希望在自己的电脑上运行开源模型，实现完全离线、免费、私密的AI体验。Ollama作为一款极简的本地模型运行工具，支持macOS、Windows和Linux，只需几条命令就能下载并运行Llama 3、Qwen2.5、DeepSeek-R1等主流开源模型，还能提供兼容OpenAI的本地API接口，方便集成到各种应用中。本教程将从零开始，带你完成Ollama的安装、模型下载、基础对话、自定义模型创建及API调用，让你快速拥有属于自己的私人AI助手。

准备环境

一台可联网的电脑（后续跑对话可断网），建议配置：
- CPU：4核及以上
- 内存：16GB以上（至少8GB）
- 硬盘：至少10GB可用空间（模型平均4-7GB）
- 显卡（可选）：NVIDIA GPU可显著加速，支持CUDA
操作系统：Windows 10/11、macOS 12+、主流Linux发行版
基础命令行知识：能打开终端（Terminal / PowerShell）
无需注册任何账号，无需支付任何费用

操作步骤

1. 安装Ollama

打开终端，根据你的系统执行对应命令：

macOS / Linux：

1	curl -fsSL https://ollama.com/install.sh \| sh

Windows：
前往 https://ollama.com/download 下载 OllamaSetup.exe，双击安装即可。

安装完成后，验证是否成功：

1	ollama --version

看到类似 ollama version 0.x.x 的输出即代表安装成功。

2. 下载并运行第一个模型

Ollama模型库中有大量开源模型。我们先运行一个轻量级模型 qwen2.5:3b（阿里通义千问3B版，中文能力强，对硬件要求低）：

1	ollama run qwen2.5:3b

首次运行会自动下载模型（约2GB，视网速而定），下载完成后会进入交互式对话界面。输入你的问题，例如：

1	你好，请用一句话介绍你自己。

模型会流式返回回复。输入 /bye 可退出对话。

常用模型推荐：

llama3.1:8b：Meta的Llama 3.1，英文能力强

qwen2.5:7b：中文综合能力优秀

deepseek-r1:7b：DeepSeek推理模型，擅长逻辑与数学

gemma2:9b：Google轻量级模型

3. 管理模型

列出本地已下载的模型：

1	ollama list

查看某个模型的详细信息：

1	ollama show qwen2.5:3b

删除不再需要的模型以释放磁盘空间：

1	ollama rm llama3.1:8b

4. 使用HTTP API调用模型

Ollama默认在 127.0.0.1:11434 提供一个HTTP服务，兼容OpenAI API格式。首先保持模型运行（可新开终端执行 ollama serve 启动服务）。

curl方式调用：

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:3b",
    "messages": [{"role": "user", "content": "什么是AI？"}]
  }'

Python调用示例：

import requests

response = requests.post(
    "http://localhost:11434/v1/chat/completions",
    json={
        "model": "qwen2.5:3b",
        "messages": [{"role": "user", "content": "用Python写一个快速排序。"}]
    }
)
print(response.json()["choices"][0]["message"]["content"])

这样，你可以用任何支持OpenAI SDK的语言或工具（包括GPT-API兼容的客户端）来连接本地模型。

5. 创建自定义模型（Modelfile）

Ollama支持通过Modelfile自定义提示词、温度等参数，打造专属助手。比如创建一个“AI写作助手”：

首先，新建一个文件 writer.modelfile，内容如下：

FROM qwen2.5:3b

SYSTEM """
你是一位专业的作家和编辑。你的任务是帮助用户改进文章、生成创意内容、优化语言表达。
请始终用简体中文回答，语气亲切专业。
"""

PARAMETER temperature 0.7
PARAMETER top_p 0.9

然后执行：

1	ollama create ai-writer -f writer.modelfile

运行自定义模型：

1	ollama run ai-writer

试试输入：“帮我写一段关于秋天的景物描写，字数100字左右。” 它会按你的设定风格回答。

6. 让模型常驻后台（可选）

如果希望在后台持续运行模型而不占用前台终端，可以使用：

1	nohup ollama serve > /dev/null 2>&1 &

然后通过API访问即可。Windows下可以用任务计划程序或直接保持窗口开启。

7. 常见问题与解决

下载速度慢：可设置环境变量 OLLAMA_MODELS 改变模型存储路径，或使用镜像源（在安装时指定）。
内存不足：选用更小的模型如 qwen2.5:1.5b，或加--num-gpu 0强制CPU运行。
GPU未启用：更新显卡驱动，Windows下安装CUDA工具包，并在启动命令前加 OLLAMA_CUDA=1。
端口被占用：修改环境变量 OLLAMA_HOST 为其他端口，例如 OLLAMA_HOST=127.0.0.1:11435。

总结

本教程带我们从零开始，完成了Ollama的安装、模型下载与交互对话，管理本地模型，通过OpenAI兼容API集成到应用中，并用Modelfile创建了个性化AI助手。整个过程无需云端服务，数据完全本地处理，安全且免费。Ollama让我们得以在普通笔记本上轻松驾驭大模型，无论是用于日常问答、代码辅助，还是内容创作，都能拥有一个随时可用的私人AI。

下一步，你可以尝试将Ollama与VS Code插件、Home Assistant、微信机器人等结合，构建更丰富的应用场景。也可以学习使用LangChain调用本地模型，打造更复杂的AI工作流。现在，打开终端，开始你的本地AI之旅吧！