두번째 리뷰어 : "성능은 놀랍지만, A 모델과 B 모델을 잘 합쳤을 뿐이네요. 참신성 부족으로 게재 거부합니다 (Limited Novelty, Reject)"

 

"Academia is a joke"

하루 전 OpenAI에서 공개한 text-to-video 생성 모델 Sora를 소개하는 트위터에서 어느 교수가 위와 같이 농담조로 트윗을 했습니다. 사실 AI 분야에 있는 사람으로서는 이는 단지 농담처럼 들리지 않는데요. 이 압도적인 디테일을 자랑하는 인공지능 모델의 아키텍처는 diffusion transformer (ICCV23)라는 논문의 아이디어를 기반으로 하고 있습니다. 그리고 굳이 해당 교신 저자의 답장 트윗으로 다시 확인 사살을 하자면, 해당 논문은 CVPR23에서 '참신성 부족'으로 한번 게재를 거부당하여 (공식적으로는) 급이 한 단계 낮은 학회인 ICCV에 다시 제출하여 결국 게재 승인된 논문입니다.

 

그 유명한 OpenAI도 채택했을 정도인데.. 현존하는 최고의 성능으로 보이는 이런 기술이 게재 거절되다니, 그럼 도대체 무슨 기술이 승인되지? 일반인들에게는 굉장히 해괴한 소리로 들립니다. 

 

 

"제 논문이 승인되었습니다! 이미 철 지났지만요(Outdated)"

사실 그러거나 말거나, 이 논문은 학회에 제출해서 Peer-review를 받기도 전에 이미 2022년 12월 경 완성되는 대로 모든 코드와 논문 전체를 공개하였고 지금까지 191회의 인용을 받았습니다 (https://www.wpeebles.com/DiT). 이 정도면 꽤나 주목을 받은 셈입니다. 3개월이 지나면 기존 모델이 구식이 되어버리는 깃발꽂기 싸움이 치열한 인공지능 분야에서는 이런 식으로 논문과 모델을 미리 통째로 공개해버리는 경우가 무척이나 많습니다.

 

이에 따라 다른 분야에서는 볼 수 없는 재미있는 일들도 많이 일어나는데요. 가장 최근 인공지능 학회 ICLR24에서는 23년 10월까지 논문 제출을 받았고, 24년 1월 15일 최종 게재 결정이 이루어졌습니다. 15일 이후, 게재가 승인된 논문의 저자들은 본인의 논문들을 홍보하기 위해 3개월 전 올렸던 트윗 타래를 다시 끌어다 리트윗하고 있습니다. 즉, 학회에 게재되거나 말거나 제출과 동시에 자신의 논문을 모두 공유하고 홍보했고, 이미 알 만한 사람들은 모두 몇 달 전부터 논문이 올라온대로 확인이 끝난 셈입니다. 그리고 몇몇은 타래 끝에 이미 그 3개월동안 또 진행된 '해당 논문의 v2 버전' 역시 홍보하는 것도 잊지 않았고요. 과장을 조금 섞어서 당신이 실제로 현장에 가서 인공지능 학회에서 발표되고 있는 논문을 본다면 그 연구는 이미 할 만큼 다 하고 끝나있다는 뜻입니다.

 

 

 

동시에 기대하지 않았던 일들도 일어납니다. 논문과 모델 오픈 후, 커뮤니티에서 최고로 회자되어 이미 엄청난 인기와 임팩트를 발휘하고 있는 논문(모델)들이 게재 거부를 당하는 일도 있습니다.

 

다음은 모두 ICLR24에서 게재 거부되었지만, 이미 지금까지 3개월 정도 온라인 선 공개 상태가 된 이후로부터 벌써 20~50회 이상의 인용을 받고 있습니다:

 

Diffusion 생성 모델의 추론 연산량을 획기적으로 개선한 Latent Consistency Models (LCM); Github Star > 3800

'거의 모든' Visual Question Task에서 최고의 성능을 보인 언어 모델 CogVLM; Github Star > 4200

계산 효율과 성능 모든 측면에서 Transformer 아키텍처에 정면으로 도전하는 Mamba; Github Star > 6300

 

LCM의 경우, 이미 각종 오픈소스 생성 모델 구현체에 기본으로 채택되었거나 자주 들르는 한국 AI 그림 채널 커뮤니티에서도 두달 전쯤부터 'AI 그림 3~5배는 빨리 뽑히는데 왜 안씀?'과 같은 분위기로 직접적인 파급력을 느꼈었기에 저 역시도 충격이 있었습니다.

 

얀 르쿤 : "Mamba 니네 거절됐니? 응 어서와"

 

 

참신성과 임팩트 그 중간 지점

이 때문에 '그놈의 참신성'을 언급하면서 학계가 완전히 망가졌다고 조롱하거나, 리뷰 프로세스에 대한 비판적인 메세지들이 오가곤 합니다. 인공지능 학회가 너무 급격히 과열되어 리뷰어들이 전문적인 지식이 부족하다거나, '수준 낮은 리뷰어들이 제대로 논문을 읽지 않고 자신이 이해하지 못하면 거절시킨다'라는 의견들이 있습니다. 한편으로는, 논문은 '수준낮은 엔지니어링 경연장'이 아니라, '배워야 할 것 (lesson)'을 담아야 하는 것이며 이와는 방향이 완전히 다른 것이다라고 주장하는 의견도 있습니다.

 

다만, 이러한 오픈 프로세스로부터 모두가 점점 확실히 느끼고 있는 한 가지 사실은 현재 AI 학계에서 '실제 현실에서의 파급력과 논문으로서의 가치' 사이의 괴리가 걷잡을 수 없이 점점 커지고 있다는 것입니다. 그리고 개인적으로 그 이유를 꼽으라면, 현재의 딥러닝 기술이 (그 방법론에 비해) 너무나도 불합리하게 강력하다는 점입니다. AI가 학계를 떠날 때가 다 된 것일까요?

 

제안 방법 (Proposed method) 파트가 놀라울 정도로 작아지고 있다

과장을 조금 보태면 3달이 지나면 구식 논문이 되고, 각종 인공지능 학회마다 한 해 1만 건이 넘는 논문이 제출됩니다. 다른 분야에서 보자면 이는 정말 정상적인 연구 프로세스가 아닌 것처럼 보입니다. 실상을 들여다보면 이 중 대부분은 정말 새로운 것을 고안해내고 제안한다기보다 (사실 당연히, 1년이라는 사이클에는 그럴 시간조차 없습니다) A에서 널리 제안된 것과 B에서 제안된 것을 가져와 더 좋게 작동하는 것을 채택하고 최적화하는, 실제로는 엔지니어링에 가까운 작업들이 더 많습니다. 그 이유의 첫번째로는 이미 너무 많은 효과적인 방법들이 제안되어 더 이상 본인 스스로 바퀴를 재발명할 필요가 없고, 두번째로는 매일 수백 편이 쌓이는 논문들 사이에서 눈에 띄기 위해서는 핫하고 검증된 것들을 골라 최단경로로 최대한 빨리 깃발을 꽂아야 하는 심리가 작용하기 때문입니다. 이 때문에 종종 인공지능 대학원 커뮤니티에서는 종종 모두를 레고 조립가라고 자조적으로 표현하기도 합니다. (이론 분야는 조금 예외로 치겠습니다)

 

그리고 날이 갈수록 체감되는 것은, 특히 최신 모델로 갈수록 제안 방법의 파트가 점차 짧아지고 있습니다. Meta에서 제안한 Segment Anything 모델(2000회 이상 인용)은 아예 제안 방법 파트가 기술되어 있지 않습니다. 모델과 코드도 모두 오픈되어있기 때문에, 딱히 회사 이익을 위해 무슨 비법을 숨기거나 한 것도 아닙니다. 사용하는 pre-trained backbone model들이 충분히 너무 강력하고, 말 그대로 자기네들 방법은 너무나 간단하기 때문입니다 (사실상 데이터셋 엔지니어링). 이 모델을 필두로, 각종 pratical task에 대한 Anything 모델 시리즈가 여기저기서 등장하고 있는데, Reddit 등에서는 '제발 대기업들은 이런 논문 좀 그만 내라'하는 불평의 목소리가 가득합니다. 그러나 아이러니하게도, 항상 제일 많이 인용되고 제일 널리 사용되고 있습니다.

 

글 초입에 언급했던 diffusion transformer 역시, 보충자료 포함 25페이지 중 제안 방법 서술은 아키텍처 그림 한 장과 한 페이지로 끝납니다. 나머지는 모두 정량적 결과에 대한 자랑으로 채워져 있습니다. 대부분의 최신 생성 모델이나 언어 모델 역시 놀라울 정도로 비슷합니다. 거의 모든 최신 인공지능 논문들이 '어떻게 했는지'보다, '결과가 어떤지'를 봐달라고 주장하는 셈이지요. 요즘은 한 발짝 더 나아가서 "(설득할 필요도 없이) 그냥 작동한다, 와서 직접 해보라" 수준에까지 온 듯 합니다. 몇몇은 이쯤 되면 논문이 아니라, 모델 성능 리포트 문서를 읽는 것 같은 느낌이 들기도 합니다.

 

이를 염두에 두고 다시 생각해보면, '참신성 부족'이라는 이유로 거절한 리뷰어 역시 조금은 이해가 될 법도 합니다.

 

Bitter Lesson으로부터 배우고 있는 것인가?

따라서 보다 학구적인 마인드로, '이런 엔지니어링 말고' 인간의 지식을 활용한 특별한 방법을 선보였으면 좋겠다는 마음도 이해가 갑니다. 사실 아이러니하게도 딥 러닝 이전의 컴퓨터 비전 분야가 딱 그러한 지형도였습니다. “computer vision doesn’t really work”*라는 농담이 있을 정도로 성능은 항상 기대에 미치지 못했고, 제대로 작동하는 모델은 거의 없었습니다. 그럴수록 그 시대의 논문을 살펴보면 Human visual system을 본딴 방법론이니, Bio functional이니 하는 정말 다양한 지식과 이론의 총집합체들로 논문이 쓰여져 있습니다. 논문으로서의 통찰력과 완성도는 더할 나위가 없습니다.

 

그러나 사실 그런 시도들이 불행히도, 오히려 AI의 발전을 저해했다고 강화학습의 아버지 Richard Sutton옹이 'The Bitter Lesson'**이라는 짤막한 글을 쓰면서 커뮤니티에 결정타를 날렸습니다. 실제로 궁극적으로 진보되는 것은 인간의 사전 지식이나 그것을 활용한 정교한 모델링을 통한 방법론이 아니라, 탐색과 계산 뿐이라는 교훈입니다. 

 

예를 들어서 거의 모든 전통 컴퓨터 비전 방법론들은 CNN, 더 나아가 Vision Transformer와 같은 대규모 통계적 유사도 패턴 (내적) 계산기 앞에 모두 사라졌습니다. ChatGPT 학습에 언어학자를 데려오자는 의견은 나오지 않습니다. 자기회귀를 통한 대규모 통계 계산 모델일 뿐이며, 사실 그것만으로도 너무 강력합니다.

 

해당 글의 일부를 옮겨오면 다음과 같습니다.

 

"70년간의 AI 연구에서 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 일반적인 방법이 궁극적으로 가장 효과적이며 큰 차이로 가장 효과적이라는 것입니다. 
(...)
음성 인식 분야에서는 1970년대에 DARPA가 후원하는 초기 대회가 있었습니다. 이 시대의 연구자들은 언어학자들 및 도메인 전문가들과 함께 단어, 음소, 성대 등에 대한 지식 등 인간의 지식을 활용한 여러 가지 특별한 방법을 사용했습니다. (...) 그러나 연구자들은 항상 자신의 머리가 작동한다고 생각하는 방식으로 작동하는 시스템을 만들려고 노력했지만, 궁극적으로 비생산적이고 연구자의 시간을 엄청나게 낭비하는 것으로 판명되었습니다. 우리는 우리가 생각하는 방식으로 구축하는 것은 장기적으로 효과가 없다는 쓰라린 교훈을 배워야 합니다. 이 쓰라린 교훈은 1) 인공지능 연구자들이 종종 에이전트에 지식을 구축하려고 시도해왔고, 2) 이는 단기적으로는 항상 도움이 되고 연구자에게 개인적으로 만족감을 주지만 3) 장기적으로는 정체되고 심지어 더 이상의 발전을 저해하며, 4) 결국 검색과 학습에 의한 계산 확장에 기반한 반대 접근 방식을 통해 획기적인 발전이 이루어졌다는 역사적 관찰에 기반하고 있습니다.  
(...)
이 쓰라린 교훈에서 배워야 할 한 가지는 범용 방법, 즉 사용 가능한 계산이 매우 커져도 계속 확장할 수 있는 방법의 위력입니다. 실제 마음의 내용은 엄청나게, 헤아릴 수 없을 정도로 복잡하다는 것입니다. 우리는 공간, 사물, 다중 에이전트 또는 대칭에 대해 생각하는 단순한 방법과 같이 마음의 내용을 생각하는 단순한 방법을 찾으려는 시도를 중단해야 한다는 것입니다."

 

 

그렇다면 우리가 하는 이 대규모 계산기의 엔지니어링이 맞는 길인가? 학계는 AI에 대한 기준이 잘못된 것인가? 아니면 다른 첨단공학의 결말처럼 AI는 산업계로 빠져나갈 것인가? 이러한 부분은 조금 더 생각해보아야 할 문제 같습니다. 이미 너무 멀리 왔을지도요.

 

 

* Quantitative Evaluation Isn’t Everything, Aaron Hertzmann's blog (https://aaronhertzmann.com/2020/10/21/quantitative-evaluation.html)

** The Bitter Lesson, Rich Sutton (http://www.incompleteideas.net/IncIdeas/BitterLesson.html)