프로그래밍

딥러닝 고수님들 질문있습니다

68747470733a2f2f692e696d6775722e636f6d2f32784e423261552e6a7067.jpg

 

 

정규화한 후에도 학습이 잘되고 성능이 좋다는 점이 이해가 가질 않는데요

 

정규화가 입력 데이터가 매우 클 경우 0~1사이로 줄여주는 것이 맞는건가요?

 

이게 맞다면 실제 데이터값과 달라지는데 어떻게 더 좋은 성능을 보여줄수있는건가요

 

책이랑 인터넷 이것저것 뒤지면서 보고있는데 

 

그냥 더 좋다라고만 말하지 왜 더 좋은지와 문제점 같은건 알려주질 않네요 ㅠㅠ

12개의 댓글

2019.04.24

정규화를 하면 데이터 분포가 균일해져서 경사하강법으로 학습할때 짤 같은경우 w축이랑 b축의 변경값이 일장해져서 원하는 목표로 최단거리로 갈수있음

그리고 짤에 왼쪽같은 경우보다 극단적인 경우도 나올수 있는데 이럴경우 학습률이 조금만 높아져도 목표값으로 수렴하지 않고 발산하게됨

데이터값을 조정해야하긴 하지만 그만큼 기준도 조정하면 되니 문제없음

2019.04.24
@ㄱㄹㄷ

그리고 왼쪽처럼 정규화 안한 경우에 발산 안하는 학습률으로 학습한다 해도 b축으로는 목표값으로 비교적 금방 가겠지만 w축으로는 한참걸릴거임

2019.04.24
@ㄱㄹㄷ

만약 학습할 데이터가 영화의 평점인데 네이버는 점수가 10점까지 있고 다음은 5점까지 있는 데이터들을 정규화해서 학습한다면 어떻게 되나요??

2019.04.24
@대전모범시민

다음 점수를 두배 하든가 네이버 점수를 반으로 해도 될거임

작년에 배운거라 이론적인거만 기억나는데 실제로 해봤을때 기억으로는 그냥 두 값의 분포만 비슷하게 해주는것만으로도 잘못된 결과 나오던거 해결됐음

2019.04.24
@ㄱㄹㄷ

만약 두배한다고 했을 경우에 네이버 10점, 다음 5점짜리가 있을경우 네이버는 20점, 다음은 10점이 되는데 둘다 0점인 데이터도 있을텐데 이러면 차이가 더 커지는거 아니에요??

2019.04.24
@대전모범시민

다음만 두배하는거임 네이버는 그대로 쓰고

2019.04.24
@ㄱㄹㄷ

답변 감사합니다. 어렵네요 ㅠㅠ

2019.04.24

너가 영화점수를 예로들었는데 네이버의 5점과 다음의 10점은 의미는 같지만 표기가 다르므로 다른 공간에 있다고 볼수있지

근데 여기서 네이버의 점수를 5로 나누고 다음의 점수를 10으로 나누면 결과가 양쪽 다 0~1범위에 들어가고 표기와 의미가 동일해지는걸 볼 수 있는데 이런걸 정규화한다고 생각하면될듯

그렇게 얻어진 0~1사이에서 뭔일을 해서 값을 얻더라도 그게 영화점수라는 의미를 알고있으니 다음이나 네이버의 점수로 다시 바꿀수도 있겠지

2019.04.24
@0ㅅ0

만약에 유튜브 같이 좋아요, 싫어요 처럼 이진수식으로 된 데이터면 어떻게 하나요?

2019.04.24

정규화를 하게 되면 분산이 줄어들어 tv loss가 준다다러

2019.04.24
@잉텔

근데 이미 잘 알려진 몇몇 신경망은 배치 정규화를 하지 않아도 스스로 배치 정규화를 한다더라.. 그래서 배치 정규화를 통해 얻는 성능이 의미가 없다고..

 

그래서 일단 구조를 설계해보고 loss 값 판별후에 정규화를 도입해야되

2019.04.25

개신기하다 이제 머신러닝은 왠만한 사람 다 아나?? 전문가들 많네ㄷㄷㄷ

번호 제목 글쓴이 추천 수 날짜 조회 수
공지 컴퓨터 / IT에 관련된 글을 올려주시기 바랍니다. 21 overflow 5 2016.08.22 19301
107120 [모바일] 불-편..... ltearl 0 2 분 전 5
107119 [컴퓨터] WD 12개 질렀는데 다 배송됐다 7 Sotheby 0 12 분 전 75
107118 [컴퓨터] 아마존 WD 딜 강제취소당한거 뭐사야하냐 슈발 1 치킨섭취협회 0 28 분 전 73
107117 [잡담] 본체 상단쿨러 조립질문 12 REDRUM 0 32 분 전 36
107116 [컴퓨터] 램값 싸길래 박을가 생각하는데 성능 올라가는게 체감될까 4 발바닥각질 0 33 분 전 59
107115 [컴퓨터] 메모리 카드 지식요청 8 설렁설렁 0 37 분 전 34
107114 [프로그래밍] 프로그램 강제 종료시 할당 된 메모리에 관하여 3 ㅂ1ㅈ2ㄷ3ㄱ4ㅅ5ㅛ6 0 38 분 전 32
107113 [모바일] 갤10vs아이폰xs 고민중 5 커거거걱 0 46 분 전 52
107112 [컴퓨터] ㅠㅠ중대장은 아마존한테실망했다.. 4 Muzic 0 47 분 전 94
107111 [잡담] 조립 개어렵넼ㅋㅋㅋ 3 석동 0 50 분 전 57
107110 [잡담] 씨퓨 글카 정상온도가 몇정도야? 23 REDRUM 0 1 시간 전 126
107109 [컴퓨터] 듀얼모니터하면 프레임드랍됨? 10 플삼내꺼 0 1 시간 전 91
107108 [컴퓨터] 한성노트북으로 144hz가능할까 32 게드립초보 0 2 시간 전 161
107107 [잡담] 수정) 이태까지 안드로이드 태블릿만 쓰고있는데 아이패드프... 5 순사한수랑 0 2 시간 전 88
107106 [모바일] 애들아 나 이거 등쳐먹히는 각이냐 11 인망새 0 2 시간 전 213
107105 [견적] 70만원 견적 2 닉네임입니다 0 2 시간 전 138
107104 [견적] 논오버 견적 날아오를까요? 5 으어뚜어끄어 0 2 시간 전 91
107103 [컴퓨터] 이번에 하드디스크대란이 역대급이었음 ?? 10 Muzic 0 2 시간 전 213
107102 [정보] 뛰면서 착용하기 갤럭시 버즈 괜찮을까? 4 오빤韓男style 0 2 시간 전 98
107101 [잡담] 매직마우스2 스그 삿음 히히 크알못 0 2 시간 전 49
서버에 요청 중입니다. 잠시만 기다려 주십시오...