对比学习调研和实验

[zrr1999]

TODO

• 基础的对比学习实现
• 对比学习: SupervisedProtoContrastiveLoss

[zrr1999]

为了方便对比学习的实现，以及后续扩展性，项目进行了一些改进

1. 原本的损失计算是和ClassifierModel绑定的，现在增加了了一个装饰器，可以方便的对ClassifierModel类添加额外损失。

[zrr1999]

SimCLR

总结来说就是对同一个样本的两个视角分别进行编码，然后将提取到的特征传入同一个Projector，并对输出结果进行最大化相似度。

• 这里如果用不同的Projector，是否效果会好
• 如果直接是 A->P1(A)对B,B->P2(B)对A最大化相似度，是否效果会好

对于多模态，每个模态可以类比成一个视角，套用这个方法。但是因为我们不一定可以保证每个模态的信息量是差不多的，所以每个模态的特征提取网络最后提取的特征通常也是不能保持一致的（虽然目前的实验都是一致的），因此可能需要考虑不止创建一个Projector。

• 给每个模态都创建一个 Projector，到同一个特征空间
• A->P1(A)对B最大化相似度，这种n个模态有(n-1)^2个

参考连接

• https://github.com/google-research/simclr
• https://zhuanlan.zhihu.com/p/609426394
• https://blog.csdn.net/weixin_54418006/article/details/140299255

[zrr1999]

损失函数

NT-Xent

https://paperswithcode.com/method/nt-xent

InfoNCE

https://paperswithcode.com/method/infonce