LLM API 调用优化：降低成本提升性能

背景

随着大模型应用普及，API 调用成本成为重要考量。本文分享实用优化策略。

1. 提示词优化

• 精简上下文：只保留必要信息
• 使用系统提示：预设角色和规则
• 结构化输出：要求 JSON 格式便于解析

prompt = """你是一个代码助手。请用 JSON 格式回答：
{
  "explanation": "简短说明",
  "code": "代码示例"
}

问题：如何实现快速排序？"""

2. 缓存策略

对相同或相似的查询进行缓存，避免重复调用。

import hashlib
import json

def get_cache_key(prompt):
    return hashlib.md5(prompt.encode()).hexdigest()

3. 流式响应

使用 streaming 模式，提升用户体验，减少等待时间。

4. 批量处理

合并多个请求为一次调用，降低 API 调用次数。

5. 选择合适的模型

• 简单任务：使用轻量模型
• 复杂推理：使用强大模型
• 根据场景动态选择

6. 设置合理的 token 限制

response = client.chat.completions.create(
    model="gpt-4",
    messages=messages,
    max_tokens=500,  # 限制输出长度
    temperature=0.7
)

总结

通过上述优化，可显著降低 API 成本同时保持良好用户体验。