下班后我用GitHub Copilot调Llama微调脚本，差点把公司显卡烧了

最近准备跳槽，晚上折腾点能写进简历的东西，决定自己微调一个Llama小模型。开了Copilot Pro试用后，直接改变了我对AI辅助编程的看法。

从“补全代码”到“帮我写配置”

以前以为Copilot就是高级Tab补全，实际用起来才发现，它最香的是那些懒得查文档的胶水代码。微调Llama-3.2-3B时，要写PyTorch DataLoader处理自定义JSONL数据集。我在文件顶部写了句注释：

# load jsonl dataset with instruction-response format for causal LM fine-tuning

Copilot直接生成了完整的Dataset类和collate_fn，连padding和attention_mask都处理好了，80%的工作直接没了。

坑也有。我让Copilot写LoRA配置，它生成了bitsandbytes做8bit量化的代码，跑起来显存直接爆了。RTX 3090对8bit模式下某些算子支持有问题，得手动关掉：

bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,  # 3090上这个配置有坑
    bnb_8bit_use_double_quant=True,
    bnb_8bit_quant_type="nf4",
    bnb_8bit_compute_dtype=torch.bfloat16
)

改成4bit量化后，显存占用从22G降到9G才跑起来。Copilot给的代码涉及底层硬件配置，一定要自己验证。

Llama微调的真实体验

选3.2-3B是因为3090刚好能跑全参微调（batch_size=1）。数据是自己爬的技术问答加GitHub Issues讨论，约两万条。训练3个epoch花了四小时。中间忘了设gradient_checkpointing=True，显存爆了整机卡死，凌晨一点多连SSH都连不上。

效果比想象中好一点，微调后的模型在技术问答上更“懂行”，但3B天花板就在那里，复杂推理还是不行。同样问题问GPT-5，差距一下就出来了。开源小模型和闭源大模型的鸿沟，不是几万条数据能填平的。

三个工具的分工

工具	定位	使用场景
GitHub Copilot	IDE内代码生成	样板代码、查API、单元测试
Llama（微调后）	本地可控垂直模型	处理敏感数据，不能外传
GPT-5	通用推理复杂任务	方案设计、代码审查、学习概念

Copilot解决“怎么写”，Llama解决“数据不能出内网”，GPT-5解决“该怎么想”。三者互补，并不冲突。

一些不成熟的小建议

第一，别一上来就全参微调。先试LoRA，显存省一半，训练快一倍，数据量不大时效果差距可忽略。

第二，数据清洗比调参重要。一开始没清洗，模型输出大量重复废话。花一晚上写去重过滤脚本，效果立竿见影。

第三，Copilot生成的训练脚本要逐行看。尤其torch.distributed和混合精度部分，它有时生成单卡能跑、多卡直接挂掉的代码。

这段时间累是真的累，但面试时能掏出自己微调的模型，聊显存优化、数据清洗、评估指标这些细节，收获实打实。显卡没烧，已是万幸。