对比学习（Contrastive Learning）

1. 对于Max margin Contrastive loss的公式解读

• 由于指示函数的作用，当两个样本属于同一分布的时候，最小化二者之间的距离。
• 当两个样本不属于同一分布的时候，公式的后半部分起作用。具体而言：
  • 当两个样本的相似度差别很大的时候，符合我们的要求，不造成损失，所以后半部分取0
  • 当两个样本的相似度不是那么大的时候，造成一定的损失。
  • 极端情况下，当两个样本的完全相似的时候，造成的损失最大，为$\epsilon$。不能再大了，防止单对样本对于最终函数的影响过大

2. 对于Triplet Loss的公式解读

3. 对于N-pair Loss公式解读

• 点积可看作余弦相似度
• a/b 和 a-b 在a,b＞0的时候是等价的

4. 思考

---

Reference

The Beginner’s Guide to Contrastive Learning

Contrastive Representation Learning

-------------本文结束感谢您的阅读-------------

本文作者： Corner
本文链接： http://corner430.github.io/2023/07/18/%E5%AF%B9%E6%AF%94%E5%AD%A6%E4%B9%A0%EF%BC%88Contrastive-Learning%EF%BC%89/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！

赏

谢谢你请我吃糖果