C.loss는 같은 space에서는 서로 붙고, 특정 구간에서는 떨어진다.
이미지 간 binary 관계를 보고 학습한다.(같다/다르다)
그런데 실제로 우리가 실생활에서 얻을 수 있는 이미지들이 전부 binary로 표현할 수 있는건 아님
ex) human pose
기존의 방법들은 그런 것이 불가능했다. 다름 지수: 0.571 이런 느낌이었다.
기존의 metric learning framework 안에서 수행하려고 했던 연구들은, loss를 그대로 활용하기 어려워 우선 binary로 quantization하는 과정을 거친다.
Binary thersholding의 경우 어떤 이미지는 너무 레어해서 Positive를 가질 수가 없다. 반대로 너무 흔한 경우도 negative를 가질 수 없다. (전부 닮았기 때문이다.)
기존의 metric learning loss를 써서 학습을 하면 embedding space에서의 거리가 실제적으로 반영하지를 못한다. 같은 것 끼리는 붙이는 데 성공했는데, 다른 건 그냥 '다르다!'하고 끝나버린다. 즉, "C는 A보다는 B와 n정도 비슷하다"가 없다.
지금까지 많이 쓰이고 있는 건 triplet이고, 이와 비슷하다. 세 개의 이미지를 받아서, 얼마나 rank를 잘 모델링하고 있는지 학습하고 평가한다.
첫 부분(파란색)은 세 이미지를 통과시켜서 얻은 distance ratio, 빨간색은 label에서의 distance이며, 파란색이 빨간색을 따라가게 하는 것이 목표이다.
Triplet과 다르게, margin hyperparameter가 들어가지 않아, L2 norm을 쓰지 않는다.
Visualization시 레어한 자세의 경우 멀리 떨어져 있다.
실질적으로 라벨링된 빅데이터를 만드는 것은 어렵다.