Ollama 教程：本地运行大模型的终极方案

什么是 Ollama？

Ollama 是一个开源的大模型本地运行工具，让你能在自己的机器上轻松部署和运行 LLM，无需依赖云服务。

GitHub: https://github.com/ollama/ollama

快速开始

安装

# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh

运行模型

# 下载并运行
ollama run llama3.2

# 查看可用模型
ollama list

# 删除模型
ollama rm llama3.2

核心功能

1. 丰富模型库

支持 Llama、Qwen、CodeLlama、Mistral 等主流模型。

2. API 调用

curl http://localhost:11434/api/generate -d "{
  \"model\": \"llama3.2\",
  \"prompt\": \"Hello!\"
}"

3. 自定义模型

创建 Modelfile:

FROM llama3.2
SYSTEM 你是一个专业的 Python 助手

ollama create my-assistant -f Modelfile

应用场景

• 代码助手: ollama run codellama
• 文档分析: 本地处理敏感数据
• 学习实验: 零成本尝试不同模型

性能优化

• GPU 自动加速 (CUDA/Metal/ROCm)
• 使用量化模型降低显存占用
• 与 LangChain 无缝集成

结语

Ollama 让本地运行大模型变得像安装普通软件一样简单，强烈推荐！

#Ollama #大模型 #LLM #本地部署 #开源工具