我为什么开始折腾Ollama和文心一言的本地化部署

去年组里接智能客服项目，产品经理老张要求数据不出内网，这迫使我从调API转向本地部署。我习惯命令行操作，遇见Ollama时如获至宝。

从调API到本地部署的转变

初期我用文心一言处理周报、邮件，其中文理解能力出色。但一次处理用户隐私数据时，安全合规同事提醒数据不能外传。这成为我转向本地部署的直接契机。

Ollama的初次接触

Ollama对命令行开发者极友好，无需复杂配置，ollama pull拉取模型，ollama run即可对话。

# 拉取llama3.1模型
ollama pull llama3.1:8b

# 命令行对话
ollama run llama3.1:8b

首次本地运行，无网络延迟、无泄露风险。8B模型虽推理能力不及云端大模型，但满足多数业务场景。

踩过的那些坑

内存瓶颈：我的32G内存开发机跑8B模型勉强够用，处理长文本时系统疯狂swap，曾导致机器卡死。

# 当时的状态
Mem: 31.2G used, 512M free, 0B cached
Swap: 8.0G used, 0B free

解决方案是使用量化模型，如llama3.1:8b-q4_0，内存占用减半，精度损失感知不强。

中文支持：开源模型处理“您客气了”这类中文表达效果差，常答非所问。这引发了我Fine-tuning的需求。

Fine-tuning的那些折腾

我的目标是提升模型对业务术语和对话风格的理解。数据准备阶段最磨人，标注数据分散在CSV、JSON、飞书文档中，格式统一花了两天。

# 数据处理脚本
def format_training_data(raw_data):
    formatted = []
    for item in raw_data:
        # 字段名各异，有的叫question，有的叫query
        prompt = item.get('question') or item.get('query') or item.get('input')
        response = item.get('answer') or item.get('response') or item.get('output')
        
        if not prompt or not response:
            continue  # 存在空数据
            
        formatted.append({
            "instruction": prompt,
            "output": response
        })
    return formatted

训练时显存不足、学习率不当、过拟合等问题频发。曾因epoch设置不当，模型完全学歪。最终摸索出稳定流程：

1. 用500-1000条高质量数据做SFT。
2. 学习率设为2e-5。
3. 每个epoch保存checkpoint以便回滚。
4. 用验证集监控loss，及时停止。

# 加载微调模型
ollama create my-custom-model -f Modelfile

# Modelfile内容
FROM ./fine-tuned-model
SYSTEM "你是一个专业的客服助手，请用礼貌、专业的中文回复用户"

混合方案的意外收获

我发现无需全用本地模型。当前方案是：通用对话调用文心一言API，敏感内部数据走Ollama本地推理，特定复杂任务使用微调模型。这种混合方案效果最佳，体现“合适的场景用合适的工具”。

def smart_router(query, sensitivity_level):
    if sensitivity_level == "high":
        return ollama_local_inference(query)
    elif sensitivity_level == "medium":
        return fine_tuned_model_inference(query)
    else:
        return wenxin_api_inference(query)

一些不太成熟的思考

技术探索的核心是“解决问题”而非“追新”。Ollama解决本地部署简化的痛点，这就够了。不应鄙视“调API”，技术选型需考虑性价比。Fine-tuning虽折腾，但加深了我对模型工作原理的理解，现在我能判断输出问题是源于数据还是训练。

写在最后

今天下午测评，微调模型在业务场景的准确率提升约15%。技术只是手段，解决问题才是目的。不管是Ollama还是文心一言，能搞定需求的方案就是好方案。Ollama让我在折腾大模型的过程中，找回了终端里的掌控感。