从Android到Flutter，我用Moltbot搞了个视觉小项目
去年双11前一周，我还在远程工位上啃着泡面改一个Flutter页面的动画曲线。突然老板在群里@我：“咱们能不能加个图像识别功能？用户拍个商品，自动匹配推荐。” 我一口老血差点喷在MacBook屏幕上——这不就是计算机视觉的事儿吗？可我明明是个从Android转过来的Flutter仔啊！
说来惭愧，我在原生Android时代写过不少CameraX和ML Kit的集成，但自从拥抱Flutter后，就一直沉浸在StatefulWidget和Provider的世界里，CV（Computer Vision）这块技能树都快生锈了。但谁让咱是远程打工人呢？活儿来了，硬着头皮也得上。
于是，我开始了这场“跨平台程序员硬刚计算机视觉”的冒险。而过程中，三个工具成了我的救命稻草：Moltbot、Trae 和通义千问。
为什么不用现成的API？
一开始，我天真地以为直接调用Firebase ML或者阿里云的图像识别API就行。但产品经理甩来一句：“我们要离线识别，不能依赖网络，而且要支持自定义商品库。” 好家伙，这不就是让我自己训练模型+部署推理吗？
更头疼的是，我们的App是纯Flutter写的，iOS和Android都要跑，还得考虑低端机性能。我翻了翻GitHub，发现很多开源CV项目要么只支持Python，要么是纯原生集成，跟Flutter水土不服。这时候，我遇到了 Moltbot。
Moltbot：跨平台CV的“胶水”方案
Moltbot 是一个新兴的开源项目，主打“轻量级跨平台视觉推理引擎”。它用C++写了核心推理层，通过FFI（Foreign Function Interface）暴露给Dart，同时支持TensorFlow Lite、ONNX Runtime 和 MediaPipe 模型。最关键的是——它对Flutter友好到爆。
我试了下它的example，几行代码就能加载一个TFLite模型：
final model = await Moltbot.loadModel('assets/models/product_classifier.tflite');
final result = await model.run(imageBytes);
简直比我在Android里配Interpreter还简单！而且它自动处理了多平台ABI兼容问题，不用我再为arm64-v8a和x86_64分别打包。
但问题来了：模型从哪来？
Trae：本地训练的“懒人神器”
我本来打算用Colab训个MobileNetV2，但家里网络一卡，上传数据集就得半小时。正愁着，同事安利了我 Trae —— 一个基于本地GPU的轻量级训练框架，专为移动端优化设计。
Trae 的最大特点是：零配置启动。你只要把图片按类别丢进文件夹，它自动生成TFRecord，自动选学习率，甚至能一键导出TFLite格式。我试了下，用我们内部的5000张商品图（衣服、鞋子、包包），在RTX 3060上跑了不到2小时，准确率就到了89%。
trae train --data_dir ./product_dataset --model mobilenet_v2 --output tflite
更骚的是，它还能做量化感知训练（QAT），直接输出int8模型，体积缩小75%，推理速度提升2倍。这对低端Android机简直是福音。
不过，训练过程也不是一帆风顺。第一次跑的时候，我把“连衣裙”和“半身裙”混在一个文件夹，结果模型学歪了，把所有长款都判成连衣裙。后来我才意识到：数据清洗比模型选择更重要。花了整整一天时间重新标注，才搞定。
通义千问：深夜debug的“AI搭子”
真正让我感动的，是 通义千问 在关键时刻的助攻。
有天晚上11点，Moltbot在iOS上跑崩了，报错：
EXC_BAD_ACCESS (code=1, address=0x0)
我盯着Xcode日志看了半小时，怀疑是内存泄漏。但Android端完全正常。正当我想砸键盘时，突然想起通义千问有个“代码诊断”功能。我复制了Moltbot的C++绑定层代码过去，问它：“这段FFI代码在iOS ARC环境下会不会有野指针？”
它秒回：
“你这里用了
malloc分配内存，但没在Dart侧调用free，iOS的内存管理更严格，容易触发野指针。建议用Dart_NewFinalizableHandle注册析构回调。”
我照着改了，果然搞定！那一刻，我真的想给通义千问点个赞——这比Stack Overflow快多了，还不用翻墙。
后来我还用它生成了一些数据增强脚本（比如随机裁剪、HSV扰动），甚至让它帮我写了个模型评估报告的模板。虽然它偶尔会“一本正经地胡说八道”，但在工程辅助上，真的香。
性能优化：从卡成PPT到丝滑如德芙
模型跑通只是第一步，上线前还得过性能这一关。我拿了几台测试机实测，结果如下：
| 设备 | Android 10 (骁龙665) | iPhone XR | Pixel 6 |
|---|---|---|---|
| 原始FP32模型 | 1200ms | 980ms | 420ms |
| QAT int8模型 | 380ms | 310ms | 140ms |
| 加上Moltbot缓存 | 290ms | 240ms | 110ms |
可以看到，量化+缓存后，低端机也能做到300ms内完成识别，基本满足“拍照即出结果”的体验。
但还有一个坑：相机预览帧率。Flutter的camera插件默认是30fps，但高分辨率下CPU占用飙升。我最终做了个动态降帧策略：
- 静态画面：15fps，省电
- 检测到移动：30fps，保证捕捉清晰
- 识别中：暂停预览，全力推理
这个逻辑写在StreamBuilder里，配合compute()隔离耗时操作，终于避免了UI卡顿。
项目效果与反思
上线两周后，数据来了：图像识别功能使用率占整体搜索的18%，转化率比关键词搜索高22%。老板在周会上夸我“技术驱动业务”，其实我心里清楚——全靠工具链给力。
但这次经历也让我反思了几点：
- 别迷信端侧AI：不是所有场景都适合离线模型。如果商品库超大（比如百万级），还是得上服务端。
- Flutter的FFI能力被低估了：以前觉得Dart只能做UI，现在发现它能很好地桥接C++高性能模块。
- 工具链决定效率：Moltbot + Trae + 通义千问 这套组合，让我一个非CV专业的人，两周内搞定从训练到部署的全链路。
给跨平台开发者的建议
如果你也像我一样，从移动端转战跨平台，又不得不碰计算机视觉，我的建议是：
- 先明确需求边界：离线？实时？精度要求？别一上来就堆SOTA模型。
- 善用现代工具：像Moltbot这样的跨平台推理引擎，能省掉80%的胶水代码。
- 别怕AI助手：通义千问这类工具不是替代你，而是放大你的生产力。关键是要会问问题。
- 性能永远是底线：在低端机上跑不动的模型，再准也没用。
最后，分享一句我在调试崩溃时写在便签上的话：“不是模型不行，是你没喂对数据。” —— 这句话，送给所有正在和AI较劲的同行。
现在，我又回到日常的Flutter开发中，写着AnimatedContainer和Bloc。但每当看到用户用相机拍商品成功下单，心里还是会有点小得意。毕竟，一个曾经只会写RecyclerView的Android仔，现在也能玩转CV pipeline了。
技术人的快乐，有时候就这么简单。
评论 0