MMDetection实战指南：从零构建目标检测、实例分割与全景分割模型

1. MMDetection简介与环境搭建第一次接触MMDetection时我被这个工具箱的全面性震惊了——它居然能同时搞定目标检测、实例分割和全景分割三大任务作为OpenMMLab家族的核心成员MMDetection目前已经支持超过57种算法和450预训练模型最新版本还新增了对半监督学习的支持。1.1 为什么选择MMDetection五年前我刚开始做目标检测时需要自己从头实现Faster R-CNN光是RoI对齐的CUDA核函数就调试了两周。现在用MMDetection三行代码就能加载预训练模型from mmdet.apis import init_detector config configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py model init_detector(config, devicecuda:0)实测下来MMDetection有三大优势特别吸引我模块化设计像搭积木一样组合Backbone、Neck和Head性能优化训练速度比Detectron2快15-20%特别是多GPU场景部署友好支持ONNX/TensorRT转换我去年做的智能巡检系统就是基于MMDet部署的1.2 环境配置避坑指南最近在帮团队搭建环境时踩过一个坑MMCV和PyTorch版本不兼容导致CUDA报错。这里分享我的标准配置清单2023年7月验证# 创建虚拟环境 conda create -n mmdet python3.8 -y conda activate mmdet # 安装PyTorch根据CUDA版本选择 conda install pytorch1.12.1 torchvision0.13.1 cudatoolkit11.3 -c pytorch # 安装MMCV和MMDetection pip install openmim mim install mmcv-full1.7.1 mim install mmdet2.28.1常见问题解决方案遇到Microsoft Visual C报错安装VS2019的C构建工具GPU内存不足在config文件中修改img_scale和batch_size多卡训练报错检查NCCL版本建议2.7.8以上2. 目标检测实战Faster R-CNN从训练到部署2.1 数据准备与标注转换上周刚用这套流程完成了工业缺陷检测项目。以COCO格式为例数据目录结构应该是data/coco/ ├── annotations │ ├── instances_train2017.json │ └── instances_val2017.json ├── train2017 │ ├── 000001.jpg │ └── ... └── val2017 ├── 000002.jpg └── ...如果用的是VOC格式可以用官方提供的转换工具python tools/dataset_converters/pascal_voc.py /data/VOCdevkit --out-dir /data/coco2.2 配置文件深度解析以faster_rcnn_r50_fpn_1x_coco.py为例关键配置模块model dict( typeFasterRCNN, backbonedict( typeResNet, depth50, num_stages4, out_indices(0, 1, 2, 3)), neckdict( typeFPN, in_channels[256, 512, 1024, 2048], out_channels256), rpn_headdict( anchor_generatordict( scales[8], # 根据目标大小调整 ratios[0.5, 1.0, 2.0])), roi_headdict( bbox_headdict( num_classes80))) # 修改为你的类别数调参经验小目标检测减小anchor_scales增加img_scale类别不平衡在train_cfg中添加class_weight训练震荡调整optimizer.lr和lr_config.warmup2.3 训练与可视化监控启动训练命令# 单GPU训练 python tools/train.py configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py # 多GPU训练4卡 ./tools/dist_train.sh configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py 4推荐使用TensorBoard监控训练过程# 修改config文件 log_config dict( interval50, hooks[ dict(typeTextLoggerHook), dict(typeTensorboardLoggerHook) ])3. 实例分割进阶Mask R-CNN实战技巧3.1 掩膜生成原理剖析Mask R-CNN在Faster R-CNN基础上增加了掩膜分支这个设计有个精妙之处RoIAlign层解决了传统RoIPooling的量化误差问题。我在医疗影像分割中实测使用RoIAlign能使肿瘤边缘分割精度提升3-5%。模型结构对比# Faster R-CNN roi_headdict(typeStandardRoIHead) # Mask R-CNN roi_headdict( typeCascadeRoIHead, mask_headdict( typeFCNMaskHead, num_convs4))3.2 自定义数据集处理处理不规则物体时需要修改dataset_type配置dataset_type CocoDataset data dict( traindict( pipeline[ dict(typeLoadAnnotations, with_bboxTrue, with_maskTrue), dict(typeResize, img_scale(1333, 800), keep_ratioTrue), dict(typeRandomFlip, flip_ratio0.5), dict(typePad, size_divisor32) # 确保能被32整除 ]))数据增强技巧小样本场景添加MixUp或Mosaic增强遮挡问题启用RandomCutOut光照变化使用Albumentations插件4. 全景分割终极方案统一分割框架4.1 任务本质解析全景分割要同时解决两个问题识别可数物体实例分割标记不可数区域语义分割MMDetection通过PanopticFPN实现双分支预测model dict( typePanopticFPN, semantic_headdict( typeFPNHead, num_classes54), # 包括背景类 panoptic_headdict( typeHeuristicHead, stuff_num_classes53))4.2 后处理融合策略预测结果融合流程过滤低分检测框score_thr0.6按置信度对实例mask排序重叠区域优先分配给实例剩余区域标记为语义类别关键配置参数test_cfg dict( panopticdict( score_thr0.6, max_per_img100, mask_thr_binary0.5))5. 模型优化与工业级部署5.1 轻量化方案对比在边缘设备部署时我通常会测试不同轻量模型模型参数量(M)FLOPs(G)COCO APYOLOv361.565.933.0RetinaNet36.3239.336.5FCOS31.8201.238.7PP-YOLOE52.298.449.05.2 TensorRT加速实战导出ONNX模型python tools/deployment/pytorch2onnx.py \ configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py \ checkpoints/faster_rcnn_r50_fpn_1x_coco.pth \ --output-file model.onnx \ --shape 1216 800转换为TensorRTtrtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --workspace4096部署时注意动态尺寸需要提前指定优化配置文件INT8量化需要校准数据集不同版本TensorRT可能需重新导出ONNX