Skip to content

【2026犀牛鸟开源人才专属】【中高难度】MoE 优化专项:MoE 专家剪枝与动态超参数调度优化 #52

Description

@isLinXu

在 COCO 或 VisDrone 数据集上训练 YOLO-Master-EsMoE-N 模型
使用 MoEPruner 对训练好的模型进行专家剪枝,对比至少 5 组阈值(threshold ∈ {0.05, 0.10, 0.15, 0.20, 0.30})
对比两种恢复策略:剪枝后直接推理 vs 剪枝后 + LoRA 微调 10-epoch 恢复
测量并记录每个实验点的:mAP50-95、mAP50、FLOPs(通过 get_gflops())、Latency(ms)、Params(M)、每层保留专家数、专家利用率 Gini 系数
绘制 "阈值 → mAP / FLOPs / Latency" 三维曲线和 Pareto 前沿图(精度 vs 延迟),标注推荐的 "Sweet Spot"
设计并实现至少一种动态超参数调度策略(如根据 expert_usage 的 Gini 系数自动调整 balance_loss_coeff,或根据验证 mAP 饱和情况动态退火 top_k),需给出调度公式并论证合理性
与固定参数基线进行对照实验(至少 3 组:基线 + 动态调度 + 消融组),计算收敛加速比(实验组达到基线最终精度 95% 所需 epoch 比例)
分析动态调度的副作用(如训练不稳定、最终 mAP 下降),提出改进建议
提出场景化推荐:如服务器端推荐阈值 0.10、边缘端推荐阈值 0.20,并附数据支撑
完成后,在 GitHub Discussion 发表技术总结文章并提供实验脚本仓库链接
动态调度策略代码修改需保持向后兼容,可提交 Pull Request
https://github.com/Tencent/YOLO-Master
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/pruning.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/diagnostics.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/analysis.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/loss.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/modules.py
https://github.com/Tencent/YOLO-Master/blob/main/scripts/compare_moe_coco128.py
https://github.com/Tencent/YOLO-Master/blob/main/scripts/bench_moe_micro.py
难度:中

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions