이번 글은 내가 썼던 왜 확률을 쓸까? 1, 2편을 잘 읽고 와야 따라올 수 있을거야

1편 : https://www.dogdrip.net/398692671

2편 : https://www.dogdrip.net/399628978

 

오늘 볼 건 mixup이란 논문으로, ICLR 2018에 발표되었어.

ICLR은 NIPS, ICML와 더불어 AI 분야의 탑 3 학술대회라고 불리어.

탑 학술대회에 나온 논문이 어느정도냐고?

음... 최대한 비교하기 쉽게 말해보자면 대한민국에서 100명 안에 들어오는 AI분야 천재들도

1년에 한편 내기 힘든 곳이야.

 

엥? 근데 그렇게 세기의 천재들이 낸 논문을 비전공자따리들이 읽을 수 있어?

고작 글 두편 읽고온거 뿐인데?

읽을수 있어! 나만 믿고 따라와!

 

mixup : BEYOND EMPIRICAL RISK MINIMIZATION (Zhang et al., MIT)

 

이 논문은 단 하나의 수식으로 제안 방법을 설명해.

1) 무슨 의미일까?

 

x, y 위에 있는 물결표는 틸데라고 읽어. 각각 엑스틸데 와이틸데라고 읽으면 돼.

왜 붙어있냐구? 틸데가 붙어있으면 해당 값과 유사하거나 가짜 값이라는 의미야.

즉 저 수식으로 만들어진 x 틸데는 x와 유사한 값이거나 진짜 x가 아니라는 의미야.

내가 여태까지 사용한 P~도 왜 그렇게 이름을 붙였는지 알겠지?

 

x는 문제 (여기서는 주로 이미지), y는 정답을 의미해.

예를 들어 개 사진과 고양이 사진을 x라 두면, y는 개, 고양이가 되겠지!

 

i와 j는 서로 다른 레이블의 데이터임을 의미해.

개 사진은 x_i인거고, 고양이 사진은 x_j, {정답 : 개}는 y_i, {정답 : 고양이}는 y_j인거야.

 

ㅅ 모양으로 있는 기호는 람다라고 읽어.

이건 비율을 의미해. 람다가 0.5라고 한다면 x~ = 0.5x_i + 0.5x_j 가 되겠지.

즉 두 이미지를 반반씩 섞어서 x~를 만들었다는 뜻이야.

이 논문에서는 람다를 랜덤 변수로 놔. (* beta(0.1, 0.1)에서 샘플링하는데, 궁금하면 따라 찾아봐)

 

결론은 뭐냐,

(한밭대 AiRLab 블로그 참조)

 

서로 다른 이미지를 합성한 다음 (개 고양이 사진을 합성해서)

정답도 섞어서 모델을 학습시킨다는거야. (람다가 0.5라고 가정하면, 여기서는 Q = { 개 = 50%, 고양이 = 50% } )

정말... 간단하지?

놀랍게도 이 방법을 통해 대부분의 경우 예측성능을 향상시켰고

ai가 헷갈릴수 있는 이미지 (adversarial attack, 이 글 참고) 에는 특히 더 좋은 성능을 보였어.

 

2) 어떤 원리일까?

 

상식적으로 좀 이해하기 힘들지.

단순히 사진을 합성하고 정답도 합성해놨더니 딥러닝 성능이 높아진다고?

해답은 바로 ERM에 있어.

우리가 저번에 살펴봤던 ERM 수식을 보자.

뭔가 다닥다닥 많이 붙어있는데 맨 오른쪽만 보면 돼.

(관심있는 개붕이들은 이전에 내가 말한 Monte Carlo method가 적용된걸 바로 눈치챘을거야.)

x_i를 입력받고 출력한 정답 예측값 f(x_i)와 실제 정답인 y_i를 사용해서

Loss인 l을 계산하고, 모든 n개의 데이터에 대해 loss를 구해 더한다음 평균을 취한거야.

저번에 살펴본 수식이랑 기호만 살짝 다르지 완전 똑같지?

그럼 제일 왼쪽의 R(f)를 최소화시키는 방향이 딥러닝 모델을 학습하는 방향이란 걸 알수 있겠지.

 

그런데 이렇게해선 real P를 구하기 무척 어려워.

따라서 Chapelle et al. (2000) 이란 사람은 ERM 대신 VRM이란걸 제안해.

뭐냐하면 진짜 x와 y를 넣기보다는

x에 잡음이나 노이즈같은걸 섞은 x~를 넣어주자는거지.

실제로 그전까지 이런 식으로 데이터를 뻥튀기하고 그랬어. 멀쩡한 이미지도 입력하고, 손상된 이미지도 입력하고.

mixup이란 방법은 저 x~와 y~에 합성한 데이터를 넣어주는 방법이야.

 

3) 왜 작동할까?

 

아주 쉬운 예시를 한번 보자.

 

주황 점은 '고양이 사진', 초록 점은 '개 사진' 이라고 해보자.

딥러닝 모델은 각 사진을 수치로 변환하는데, 이미지를 두개의 숫자로 변환했다 치면 2차원 x축 y축 그래프상에 그릴 수 있겠지?

그런 거라고 가정하면 돼.

 

ERM으로 충분히 많이 훈련된 경우 왼쪽처럼 결정경계 (파란 원) 가 생겨.

뭐냐하면, 딥러닝 모델은 가운데로 뭉친 데이터일수록 확실하게 고양이라고 (고양이 = 100%!!) 말하다가

밖으로 빠져나오면 어느순간 갑자기! (개 = 100%!!) 라고 말한다는거지.

그런 반면 오른쪽처럼 mixup으로 훈련된 경우, 가운데로 뭉친 데이터는  (고양이 = 100%!!) 라고 말하다가

밖으로 빠져나오면 서서히 (개 = 1%?) 라고 말하게 돼.

 

이거 어디서 많이 들어보지 않았어?

내가 현실에서는 데이터에는 오류가 있을 수 있고, 실세계의 P는 Q와 다르게 99.999% 와 같이 불확정성을 가진다고 했지.

mixup은 그걸 데이터 합성을 통해 가상으로 구현한거야.

 

그림이 좀 어려웠을까봐 추가해봤어.

주황색 녹색 곡선은 각 데이터가 발생할 확률을 말한거야.

근데 보면 주황색과 녹색이 겹치는 라인이 있지?

주황색이 고양이, 녹색이 개라고 한다면, 그 중에는 개와 정말 닮은 고양이 사진도 있을거고

고양이와 정말 닮은 개 사진도 있을거야.

우리는 그 사진을 보고 오답을 낼 가능성이 높지. 이런 사진들은 정말 드물고 학습하기도 어렵거든.

근데 파란색의 결정경계는 그걸 무시하고 어느 순간 무조건 고양이 100%! 개 100%! 라고만 해.

하지만 mixup으로 훈련하게 되면 이런 데이터를 어느정도 학습할 수 있게 돼서 대처할 수 있고

또 실제로 이게 몇%의 확률로 고양이인지 개인지 P를 흉내낼 수 있게 되는거야.

파란선은 ERM을 통해 충분히 학습한 모델의 경우, 주황선은 mixup을 통해 충분히 학습한 모델의 경우야.

가로축은 람다야. x_i 데이터와 x_j 데이터를 얼마만큼 섞어서 해당 모델에 입력하느냐야.

세로축은 에러율. 이 때 에러는 모델이 출력한 정답이 i, j 에 속하지 않을 경우를 의미해.

예를 들어 고양이와 개 사진을 반반 섞어서 입력했더니 뜬금없이 햄스터라고 출력했을 경우 miss에 속해.

 

ERM을 통해 훈련한 경우, 어떻게 봐도 개나 고양이 둘 중 하나인 사진일 때에도 전혀 뜬금없는 답을 낼 때가 많아.

특히 이미지를 반반 섞었을 경우 이런 경향이 커지는 편이지.

반면 mixup을 통해 훈련한 경우는 이런 에러율이 상당히 적은 걸 알 수 있어.

 

즉 mixup은 현실에서 잘 포착하기 어려운 데이터에 대해서도

(발생 확률이 적어 현실에서 가져오기 힘든 데이터, 즉 학습하기 어려운 데이터)

추론 능력을 키울 수 있는 좋은 방법이라고 할 수 있어!

 

의문사항이 있으면 언제든 질문 받을게.

혹시 다뤄주길 원하는 내용이 있으면 얘기해줘! 재밌어보이면 글로 써볼게.