模型部署慢得像蜗牛？我把推理延迟从800ms压到50ms的血泪史

模型不优化就上线等于自杀

最初直接用PyTorch训练模型并打包为Flask服务上线，单次推理超200ms，一半时间消耗在Python解释器和框架开销上。

第一步转为ONNX格式，砍掉训练冗余计算图，仅保留推理前向路径：

import torch.onnx

dummy_input = torch.randn(1, 128, device='cuda')
torch.onnx.export(
    model, dummy_input, "model.onnx",
    opset_version=13, do_constant_folding=True,
    input_names=['input'], output_names=['output'],
    dynamic_axes={'input': {0: 'batch_size'}}
)

转换后延迟降至约120ms。接着引入TensorRT进行算子融合、精度量化和内存优化。为应对流量波动，配置动态batch size的optimization profile：

config = builder.create_builder_config()
profile = builder.create_optimization_profile()
profile.set_shape("input", min=(1,128), opt=(64,128), max=(256,128))
config.add_optimization_profile(profile)

延迟直接降至35ms。

服务化部署不是起个Flask就完事

FastAPI+uvicorn方案因GIL锁导致并发时GPU推理排队，响应时间指数级增长。改用Triton Inference Server，利用动态批处理将请求攒批推理，吞吐量大幅提升。模型仓库结构：

model_repository/
└── recommendation_model
    ├── 1
    │   └── model.plan
    └── config.pbtxt

config.pbtxt中开启dynamic batching：

dynamic_batching {
  max_queue_delay_microseconds: 100
  preferred_batch_size: [32, 64]
}

QPS从2000飙升至18000。

模型版本管理和A/B测试

使用MLflow进行模型注册与标记。Triton支持版本目录，切换版本仅需修改符号链接。A/B测试在网关层按用户ID哈希分流：

def route_model(user_id):
    if int(hashlib.md5(user_id.encode()).hexdigest(), 16) % 100 < 10:
        return "model_experiment"
    return "model_production"

监控告警才是真正的保命符

建立三层监控：基础设施层监控GPU利用率、显存；应用层关注P50/P99延迟、错误率、QPS；业务层追踪推荐CTR变化。使用Prometheus+Grafana+AlertManager组合。

针对模型漂移，每日凌晨用当天采样数据评估，若AUC下降超2%则自动告警。

写在最后

算法工程师需掌握从优化到部署运维的全链路。建议多实践ONNX、TensorRT、Triton等工具，切勿在生产环境用Flask部署模型服务。