从零到一：基于mmdetection-3.1.0与RTMDet-Ins-m的自定义数据集实例分割实战

1. 环境准备与mmdetection安装第一次接触mmdetection框架时我也被它复杂的依赖关系搞晕过。不过跟着官方文档一步步操作其实半小时就能搞定。这里分享几个避坑经验建议使用conda创建虚拟环境python版本选择3.8最稳妥实测3.10会有兼容性问题。安装PyTorch时一定要匹配CUDA版本如果你用的是3090显卡记得选择CUDA 11.3以上的torch版本。安装完基础环境后用pip安装mmdetection的过程就像搭积木pip install -U openmim mim install mmengine mim install mmcv2.0.0 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e .这里有个小技巧安装mmcv时加上--no-deps参数可以避免依赖冲突。我遇到过几次numpy版本冲突的问题都是这样解决的。安装完成后建议运行以下测试命令验证python -c from mmdet.apis import init_detector; print(安装成功)2. 数据标注与COCO格式转换工业场景下的数据标注往往比想象中复杂。以我们做的焊接缺陷检测为例每个气泡的边界都需要精确标注。Labelme虽然简单易用但标注时要注意几个细节1) 多边形顶点不宜过多否则影响训练效率2) 相邻物体的边界要留有间隙3) 标注完成后务必检查json文件中的imagePath路径是否正确。转换COCO格式时我改进了网上的通用脚本主要优化了以下功能自动校验标注完整性支持多类别同时转换生成可视化校验图关键转换代码的核心逻辑是这样的def labelme2coco(): # 初始化COCO数据结构 coco_output { info: {description: My Dataset}, licenses: [], images: [], annotations: [], categories: [] } # 处理每个Labelme文件 for json_file in labelme_files: with open(json_file) as f: data json.load(f) # 转换图像信息 image_info { id: image_id, file_name: os.path.basename(data[imagePath]), height: data[imageHeight], width: data[imageWidth] } coco_output[images].append(image_info) # 转换标注信息 for shape in data[shapes]: annotation { id: annotation_id, image_id: image_id, category_id: category_ids[shape[label]], segmentation: [np.array(shape[points]).flatten().tolist()], area: calculate_area(shape[points]), bbox: get_bbox(shape[points]), iscrowd: 0 } coco_output[annotations].append(annotation)3. RTMDet-Ins-m模型配置详解RTMDet-Ins-m的配置文件就像乐高积木通过组合不同模块实现定制化。以火灾检测为例我们需要重点关注三个层面的修改3.1 模型结构配置model dict( typeRTMDet, backbonedict( deepen_factor0.67, # 控制网络深度 widen_factor0.75), # 控制通道数 neckdict( in_channels[192, 384, 768], out_channels192), bbox_headdict( num_classes1, # 修改为你的类别数 loss_maskdict( typeDiceLoss, loss_weight2.0)))这里有个调参经验对于小目标检测可以适当增加deepen_factor对于遮挡严重的场景建议调高loss_mask的权重。3.2 数据增强策略train_pipeline [ dict(typeMosaic, img_scale(640, 640)), dict(typeRandomFlip, prob0.5), dict(typePad, size(640, 640)), dict(typeCachedMixUp, img_scale(640, 640)) ]工业场景建议去掉颜色扰动增强因为实际部署时的成像条件是稳定的。我们项目中去掉HSV增强后准确率反而提升了3%。3.3 训练参数优化optim_wrapper dict( optimizerdict(typeAdamW, lr0.004), paramwise_cfgdict( norm_decay_mult0, # 归一化层不衰减 bias_decay_mult0)) # 偏置项不衰减 param_scheduler [ dict(typeLinearLR, start_factor1e-5, end1000), dict(typeCosineAnnealingLR, eta_min0.05) ]学习率设置有个小技巧batch_size32时基准lr0.004当batch_size变化时按线性比例调整。我们使用8卡训练时设置batch_size64lr0.008效果最佳。4. 训练技巧与问题排查第一次训练实例分割模型时我遇到了mask精度始终为0的问题。后来发现是因为标注时用了poly2maskFalse而评估时默认使用polygon计算IoU。解决方法是在配置中添加test_evaluator dict( metric[bbox, segm], format_onlyFalse, outfile_prefix./work_dirs)其他常见问题解决方案显存不足减小img_scale或使用gradient_accumulation_steps训练震荡增加batch_size或调低base_lr过拟合启用EarlyStopping或增加weight_decay训练过程中的监控也很重要我习惯用mmdet自带的日志分析工具python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_mask --out mask_loss.png5. 模型部署实战训练好的模型需要经过以下步骤才能上线模型导出为ONNX格式python tools/deployment/pytorch2onnx.py \ configs/rtmdet/rtmdet-ins_m_8xb32-300e_coco.py \ work_dirs/latest.pth \ --output-file model.onnx \ --input-img demo.jpg \ --shape 640 640使用TensorRT加速import tensorrt as trt logger trt.Logger(trt.Logger.INFO) builder trt.Builder(logger) network builder.create_network() parser trt.OnnxParser(network, logger) with open(model.onnx, rb) as f: parser.parse(f.read()) engine builder.build_engine(network, config)部署时的预处理需要与训练保持一致def preprocess(img): img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img mmcv.imrescale(img, (640, 640)) img img.astype(np.float32) / 255. img - np.array([103.53, 116.28, 123.675]) img / np.array([57.375, 57.12, 58.395]) return img.transpose(2, 0, 1)[None]在消防机器人的实际部署中我们发现将模型输入尺寸从640x640降到512x512推理速度提升40%而精度仅下降1.2%这个trade-off非常值得。6. 效果优化与迭代模型上线后还需要持续优化。我们建立了这样的迭代流程数据闭环收集预测结果中的困难样本加入训练集模型蒸馏用大模型指导小模型训练量化压缩使用INT8量化减少模型体积一个实用的技巧是在验证集上分析混淆矩阵from mmdet.core.evaluation import confusion_matrix cm confusion_matrix(pred_results, gt_annotations) plt.imshow(cm, cmapBlues)最近我们在RTMDet-Ins-m的基础上加入了注意力机制使mask边缘的贴合度提升了15%。关键修改是在neck部分添加CBAM模块neckdict( typeCSPNeXtPAFPN, plugindict( typeCBAM, spatial_kernel7))这个项目从零开始到最终部署用了两个月时间最大的体会是实例分割的工程实践远比论文描述的复杂但mmdetection框架确实大幅降低了开发门槛。现在我们的系统能实时检测200类工业缺陷推理速度在3090上达到45FPS。