## TODO - [x] 稀疏 MoE - [ ] MoE LoRA - [ ] MoE Fusion Module - [ ] MultiHeadFusionMoE 的两种方案 MultiHeadFusionMoE 的实现 目前有两种可能的方案，目前初步采用方案一 方案一 self.router 针对每个模态输出一个单独的权重，最后进行融合（乘积或其他方法），即后融合 方案二 self.router 直接使用其他 FusionLayer 的输出作为权重，即前融合 ## 参考资料 https://zhuanlan.zhihu.com/p/463352552
TODO
MultiHeadFusionMoE 的实现
目前有两种可能的方案，目前初步采用方案一
方案一
self.router 针对每个模态输出一个单独的权重，最后进行融合（乘积或其他方法），即后融合
方案二
self.router 直接使用其他 FusionLayer 的输出作为权重，即前融合
参考资料
https://zhuanlan.zhihu.com/p/463352552