프로그래밍

딥러닝 고수님들 질문있습니다

68747470733a2f2f692e696d6775722e636f6d2f32784e423261552e6a7067.jpg

 

 

정규화한 후에도 학습이 잘되고 성능이 좋다는 점이 이해가 가질 않는데요

 

정규화가 입력 데이터가 매우 클 경우 0~1사이로 줄여주는 것이 맞는건가요?

 

이게 맞다면 실제 데이터값과 달라지는데 어떻게 더 좋은 성능을 보여줄수있는건가요

 

책이랑 인터넷 이것저것 뒤지면서 보고있는데 

 

그냥 더 좋다라고만 말하지 왜 더 좋은지와 문제점 같은건 알려주질 않네요 ㅠㅠ

12개의 댓글

2019.04.24

정규화를 하면 데이터 분포가 균일해져서 경사하강법으로 학습할때 짤 같은경우 w축이랑 b축의 변경값이 일장해져서 원하는 목표로 최단거리로 갈수있음

그리고 짤에 왼쪽같은 경우보다 극단적인 경우도 나올수 있는데 이럴경우 학습률이 조금만 높아져도 목표값으로 수렴하지 않고 발산하게됨

데이터값을 조정해야하긴 하지만 그만큼 기준도 조정하면 되니 문제없음

0
2019.04.24
@ㄱㄹㄷ

그리고 왼쪽처럼 정규화 안한 경우에 발산 안하는 학습률으로 학습한다 해도 b축으로는 목표값으로 비교적 금방 가겠지만 w축으로는 한참걸릴거임

0
2019.04.24
@ㄱㄹㄷ

만약 학습할 데이터가 영화의 평점인데 네이버는 점수가 10점까지 있고 다음은 5점까지 있는 데이터들을 정규화해서 학습한다면 어떻게 되나요??

0
2019.04.24
@대전모범시민

다음 점수를 두배 하든가 네이버 점수를 반으로 해도 될거임

작년에 배운거라 이론적인거만 기억나는데 실제로 해봤을때 기억으로는 그냥 두 값의 분포만 비슷하게 해주는것만으로도 잘못된 결과 나오던거 해결됐음

0
2019.04.24
@ㄱㄹㄷ

만약 두배한다고 했을 경우에 네이버 10점, 다음 5점짜리가 있을경우 네이버는 20점, 다음은 10점이 되는데 둘다 0점인 데이터도 있을텐데 이러면 차이가 더 커지는거 아니에요??

0
2019.04.24
@대전모범시민

다음만 두배하는거임 네이버는 그대로 쓰고

0
2019.04.24
@ㄱㄹㄷ

답변 감사합니다. 어렵네요 ㅠㅠ

0
2019.04.24

너가 영화점수를 예로들었는데 네이버의 5점과 다음의 10점은 의미는 같지만 표기가 다르므로 다른 공간에 있다고 볼수있지

근데 여기서 네이버의 점수를 5로 나누고 다음의 점수를 10으로 나누면 결과가 양쪽 다 0~1범위에 들어가고 표기와 의미가 동일해지는걸 볼 수 있는데 이런걸 정규화한다고 생각하면될듯

그렇게 얻어진 0~1사이에서 뭔일을 해서 값을 얻더라도 그게 영화점수라는 의미를 알고있으니 다음이나 네이버의 점수로 다시 바꿀수도 있겠지

0
2019.04.24
@0ㅅ0

만약에 유튜브 같이 좋아요, 싫어요 처럼 이진수식으로 된 데이터면 어떻게 하나요?

0
2019.04.24

정규화를 하게 되면 분산이 줄어들어 tv loss가 준다다러

0
2019.04.24
@잉텔

근데 이미 잘 알려진 몇몇 신경망은 배치 정규화를 하지 않아도 스스로 배치 정규화를 한다더라.. 그래서 배치 정규화를 통해 얻는 성능이 의미가 없다고..

 

그래서 일단 구조를 설계해보고 loss 값 판별후에 정규화를 도입해야되

0
2019.04.25

개신기하다 이제 머신러닝은 왠만한 사람 다 아나?? 전문가들 많네ㄷㄷㄷ

0
번호 제목 글쓴이 추천 수 날짜 조회 수
공지 컴퓨터 / IT에 관련된 글을 올려주시기 바랍니다. 21 overflow 5 2016.08.22 21017
115197 [컴퓨터] 컴퓨터쪽에 써도 되는 질문인지 모르겠는데... 2 코뉴어 0 5 분 전 12
115196 [컴퓨터] 로지텍특가끝낫넹.... 3 트럴츄럴 0 12 분 전 43
115195 [프로그래밍] 아 인공지능 어렵다 끼에엑 0 13 분 전 24
115194 [잡담] 아.. 케이스 다시사야하나... 6 장판 0 46 분 전 62
115193 [컴퓨터] 후방 조공짤) 가성비 좋은 노트북 추천 좀 해주삼~ 1 침착맨게시물은닥... 0 1 시간 전 302
115192 [모바일] 뭐야 또 뭐가터진거야 5 푸르동동 0 1 시간 전 146
115191 [잡담] qcy t1 쓰면서 자꾸 중간에 연결음 들리는 사람 잇음? 5 친구없는병신찐따... 0 1 시간 전 104
115190 [견적] ㅎㅂ) 견적 마지막 출항..해도 괜찮겠습니까 선생님들..? 7 FNG 1 2 시간 전 372
115189 [컴퓨터] 모니터 암 고민 7 호선노선도 0 2 시간 전 86
115188 [잡담] 마우스 사망각이냐? 1 네슬 0 2 시간 전 55
115187 [잡담] 갤탭6 나오면 5e 가격좀 떨어지겠지? 3 에스크로 0 3 시간 전 62
115186 [프로그래밍] 아사나,트렐로 같은 협업툴에서 자동으로 메신저에 노티나 푸... 3 나는장애인이다 0 3 시간 전 55
115185 [컴퓨터] 모니터 질문 6 시간은구미야 0 3 시간 전 59
115184 [컴퓨터] 파워플레이써본형들있어? 13 트럴츄럴 0 3 시간 전 90
115183 [모바일] 이번에 노트10 ㄱㅎ쪽 간 게이 있냐? 6 장사하자 0 3 시간 전 123
115182 [컴퓨터] 144hz 모니터 처음사보는데 2 porsche 0 3 시간 전 110
115181 [컴퓨터] (견적)원컴 듀얼모니터 개인방송 (게임은 롤,배그) 16 군대별거아니네 0 4 시간 전 148
115180 [모바일] 놋10+ 사전예약 터졌네 7 번의경험 0 4 시간 전 243
115179 [컴퓨터] 파스점수 17,700점 정도면 쓸만함? 7 햇반충 0 5 시간 전 133
115178 [잡담] 난 왜 알고리즘 능지가 이따구지;; 1 Tbps 0 5 시간 전 111
서버에 요청 중입니다. 잠시만 기다려 주십시오...