被简历项目逼出来的计算机视觉实战：从0到上线，顺便踩了几个坑

去年秋天，我坐在杭州文三路某家咖啡馆里，盯着自己的简历发呆。眼看金三银四快到了，手里除了几个 CRUD 项目和一堆“优化接口性能”的套话，实在拿不出能打动面试官的硬核内容。作为一个 GitHub Copilot 付费用户（没错，已经续费快两年了，省下的 Ctrl+C/V 时间够我多睡一个月），我自认为写代码效率不差，但简历上缺一个能体现工程能力和算法思维的视觉类项目——这在阿里、网易这类大厂的AI岗位筛选中几乎是硬门槛。

于是，我给自己定了个目标：搞一个端到端的计算机视觉项目，能跑通、能部署、能吹牛，最好还能和“资源”、“区块链”这些 buzzword 搭上边（别笑，HR筛简历真看这个）。

需求来源：产品经理的“灵光一现”

事情的起因其实挺搞笑。我们组做的是电商平台的内容审核系统，去年双11前，产品经理突然提了个需求：“能不能自动识别用户上传图片里有没有盗用他人NFT作品？”

我当时就懵了：NFT？那不是链上的数字资产吗？我们又不做钱包，也不碰智能合约，怎么扯上区块链了？

后来才知道，有些用户会把别人在 OpenSea 上铸造的 NFT 图片下载下来，重新上传到我们平台冒充原创。平台背锅不说，还可能惹上版权纠纷。所以需求本质是：检测一张图是否和已知的 NFT 图像库高度相似。

听起来像是图像检索 + 版权检测，但难点在于：

• NFT 图像风格多样（像素风、3D、抽象艺术）
• 用户会加滤镜、裁剪、旋转、甚至加水印
• 我们没有标注好的“盗用样本”，属于典型的无监督/弱监督场景

行吧，既然逃不掉，那就干。

技术选型：稳字当头，但也要有点新意

作为在阿里系待过、现在在一家中型互联网公司混饭吃的程序员，我深知：线上系统不能玩太花。虽然 Vision Transformer 很火，CLIP 模型也很酷，但考虑到我们线上服务的 SLA 要求（99.9% 请求 <500ms）、运维同学对 Python 服务的容忍度（他们更爱 Java），以及测试团队对“黑盒模型”的恐惧，我最终选择了相对稳妥但有效的方案：

1. 特征提取：使用 ResNet-50（ImageNet 预训练），提取全局特征向量（2048维）
2. 相似度计算：L2 归一化后用余弦相似度
3. 索引加速：FAISS（Facebook 开源的向量检索库），支持 GPU 加速
4. 部署方式：Flask + Gunicorn + Docker，走内部 K8s

为什么不用 CLIP？不是它不好，而是：

• 模型太大（ViT-L/14 超过 1GB），加载慢
• 输出是图文联合嵌入，我们需要纯图像特征
• 内部审批流程复杂，引入新依赖要写三份技术评估报告（别问，问就是血泪史）

而 ResNet-50 已经被我们基础架构组打包成标准镜像，连模型缓存策略都写好了，直接拿来用，省心。

数据准备：巧妇难为无米之炊

最大的问题是：哪来的 NFT 图像数据集？

公开数据集？LAION 太大，NFT-DB 又不完整。自己爬？OpenSea 的反爬机制能把人送走。

灵机一动，我想起之前参加的一个 Web3 技术沙龙，有位做 NFT 聚合平台的朋友提到他们有个公开的元数据 API。于是厚着脸皮去要了个只读 Token，配合 IPFS 网关，花了三天时间爬了约 5 万张热门 NFT 图片（主要来自 BAYC、CryptoPunks、Art Blocks 等项目）。

📌 小贴士：IPFS 的 CID 去重非常有效，避免重复下载同一张图。

然后对每张图做预处理：

• 统一 resize 到 224x224（ResNet 输入尺寸）
• 自动去除透明通道（RGBA → RGB）
• 对低分辨率图做超分（用了 Real-ESRGAN，效果惊艳）

最终构建了一个本地向量库：5 万张图 × 2048 维 = 约 400MB 的 FAISS 索引文件。

# 特征提取核心代码（Copilot 帮我写了 70%，但调试花了我两小时）
import torch
from torchvision import models, transforms
import faiss
import numpy as np

# 加载预训练 ResNet，去掉最后的分类层
model = models.resnet50(pretrained=True)
model = torch.nn.Sequential(*list(model.children())[:-1])
model.eval()

transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

def extract_feature(img_path):
    img = Image.open(img_path).convert('RGB')
    img_t = transform(img).unsqueeze(0)
    with torch.no_grad():
        feat = model(img_t).squeeze().cpu().numpy()
    return feat / np.linalg.norm(feat)  # L2 归一化，方便后续余弦相似度

踩坑实录：那些让我想砸电脑的瞬间

坑 1：FAISS 的“内存爆炸”

本地测试时一切正常，一上测试环境，K8s Pod 直接 OOM。查了半天发现：FAISS 默认用 IndexFlatIP（暴力搜索），内存占用是 O(n)，5 万条数据吃掉 2GB 内存。

解决方案：换成 IndexIVFFlat，先聚类再搜索。虽然精度略降（Recall@100 从 98% → 92%），但内存降到 300MB，QPS 从 15 提升到 200+。

# 构建 IVF 索引（nlist=100 是经验值）
quantizer = faiss.IndexFlatIP(2048)
index = faiss.IndexIVFFlat(quantizer, 2048, 100, faiss.METRIC_INNER_PRODUCT)
index.train(vectors)  # vectors 是所有特征向量
index.add(vectors)

坑 2：用户上传的“鬼图”

有次测试时，一张全黑的 PNG 图触发了异常——PIL 读出来是 mode='1'（1-bit 黑白图），transform 直接报错。后来加了兜底逻辑：

if img.mode not in ('RGB', 'RGBA'):
    img = img.convert('RGB')  # 强制转 RGB

还有一次，用户传了个 100MB 的 TIFF 文件，服务直接卡死。赶紧加上文件大小和格式白名单限制。

坑 3：相似度阈值怎么定？

最开始设阈值 0.9，结果漏掉很多轻微编辑的盗图；降到 0.8，又误杀一堆风格相似的原创作品（比如都是赛博朋克风）。

最后采用动态阈值：根据查询图的“信息熵”调整。高熵图（细节丰富）用高阈值，低熵图（如纯色背景）用低阈值。虽然不完美，但误报率降了 40%。

和“区块链”扯上关系？还真能！

你可能会问：这项目和区块链有啥关系？别急。

虽然我们的检测系统本身不碰链上数据，但检测结果可以作为证据上链。我们和法务团队合作，设计了一个轻量级流程：

1. 系统检测到疑似盗用 → 生成包含原图哈希、NFT 合约地址、相似度分数的 JSON 报告
2. 调用内部“可信存证”服务（基于蚂蚁链）
3. 存证哈希回写到审核工单

这样，一旦发生纠纷，平台可以出示不可篡改的链上证据，证明我们已尽到审核义务。

虽然这部分代码不多（主要是调个 SDK），但在简历上写“结合区块链实现版权存证”绝对加分。面试官一听就懂，HR 看到关键词也会放行。

效果与反思：值不值得折腾？

上线三个月，系统日均处理 12 万张图，平均响应时间 320ms，准确率（人工复核）约 85%。虽然比不上 Google 的 Content ID，但对于中小平台来说足够用了。

更重要的是——我的简历终于有东西可写了！我把项目包装成：

“基于深度学习与向量检索的 NFT 图像版权检测系统，融合 FAISS 高效索引与区块链存证，支撑日均 10w+ 图像审核”

上周面试网易雷火，面试官看到这一行眼睛都亮了，当场让我画架构图。虽然最后因为薪资没谈拢没去成，但至少证明：一个扎实的 CV 项目，真的能打开机会大门。

给想动手的朋友几点建议

1. 别追求 SOTA 模型：稳定、可维护、能解释，比 accuracy 高 2% 重要得多
2. 数据质量 > 模型复杂度：我花 70% 时间在数据清洗和增强上
3. 善用 Copilot 这类工具：写 boilerplate 代码快如闪电，但核心逻辑一定要自己 debug（别信它说的“这段代码 100% 正确”）
4. 项目要有“故事性”：为什么做？解决了什么业务痛点？和区块链/资源调度/AIGC 有什么关联？这些才是面试时的谈资

最后吐槽一句：上周五晚上 11 点，测试同学还在群里 at 我：“线上有个 case 识别错了，用户说他画的是原创赛博猫，不是 BAYC！”
我回：“让他去链上 mint 一个，我们就认。”
——开玩笑的，赶紧修 bug 去了。

---

指标	数值	说明
数据集规模	5 万张	来自主流 NFT 项目
特征维度	2048	ResNet-50 pool5 层
索引类型	IVFFlat	nlist=100, nprobe=10
平均 QPS	210	4 核 8G 容器
P99 延迟	480ms	包含 I/O 和网络
准确率	85%	人工抽样 1000 条

如果你也在杭州，或者正愁简历没项目，不妨试试搞个类似的 CV 小系统。不用多 fancy，能跑通、能讲清、能扛住线上流量，就够了。

毕竟，在这个卷成麻花的时代，一个能落地的项目，胜过十篇 paper。