잘 보고있다 개붕아

내가 어렸을때 MLM을 했었을 줄이야.... 개붕이가 보여준 예시 보고 깨달았다.... 나도 사실은 고도로 발달된 ( 그러다가 어딘가 고장난) AI 모델이 아닐까

추천해준다! 너 멋있어

ㅊㅊㅊㅊ 나중에 chatgpt 강의 한번 해주면 좋겄네

ㅎㅇㅌ!!

배추 다섯마리를 심고있어요

질문 있는데 해도 될까?

얀르쿤이 agi는 아직은 절대 불가능하다고 했는데 어떻게 생각함?

오 재밌당

저런 식으로 글의 맥락을 이어가는 거였구나

1년이 다르게 메타가 바뀌는 기계학습판에서 6년 내내 자연어 처리에서 sota를 차지하는것도 모자라 컴퓨터 비전까지 넘보는 아키텍처인게 좀 놀라움

무엇보다 무지성으로 체급을 키우면 키우는 대로 퍼포먼스가 올라가는 scalability가 말이 안됨

당분간 천장에 닿기 전까지는 업계에선 계속 트랜스포머 울궈먹을듯

와 진짜 궁금했던건데.. 마저 더써줄거지?? ㅊㅊ

1. transformer

2. gpt 1

트랜스포머 모델 구조 반토막 내서 사용해봄

다음 단어 맞추게 훈련된 모델에 목적(텍스트 유사도 체크, 번역, 리뷰 글의 점수, 기타등등)에 따라 레이어를 하나 더 추가하고 각 목적별로 따로따로 모델을 만들어서 따로따로 추가로 훈련 시켜서 튜닝해보자.

오. 몇몇 목적은 가장 뛰어난 퍼포먼스를 보여준 다른 모델들이랑 맞먹는다.

3. gpt 2

각 목적에 맞춰서 모델 따로따로 만들고 튜닝 하는게 아니라, 그냥 한 모델에 더 많은 데이터 주면,

a. 몇가지 예시만 주면 그 예시에 따라서 잘 해주지 않을까?

예: 할머니 -> 할아버지, 남자 -> 여자, 그림자 -> 빛, 민주주의 -> (그 다음 나올 단어는?)

b. 예시도 안주고 뭘 해달라고 지시해도 잘 맞추지 않을까?

예: 민주주의의 반댓말 알려줘. ->

예시 주는건 잘하고, 예시 안주는건 잘 맞추지는 못하지만 어느정도 맞추기는 하네.

4. gpt 3 -> 모델을 크게 만들수록 아무 예시도 안주고 지시하는걸 잘하게 되네. 모델을 졸라 크게 만들고 훈련 데이터도 늘리면 어떨까?

그리고 gpt 3을 chat 용으로 약간 개조한게 chat gpt

q,k,v 정보 수정 좀… 벡터에 방향 정보가 내포된건 맞지만 방향만을 나타내는건 아니니… 물론 gpt에서는 normalize를 어텐션 시작전에 넣기때문에 크기를 빼서 설명할 수도 있겠지만 바닐라 트랜스포머에서는 어텐션 레이어를 통과한 후에 정규화를 하다보니 좀 더 벡터쪽으로 설명하는게 좋지 않을까 싶음. value값 설명은 self-attention을 가정한 설명같고 key값은 그냥 attention 자체에 더 맞는 설명이라 이부분도 수정하면 좋을거 같아. 좋은글 잘 읽었어!

선형대수없이 q, k, v 설명하기는 쉽지 않겠네요. 위치 인코딩도 설명해주시면 고마울 것 같아요 감사합니다~

뭔진 모르겠지만 유용하게 잘 쓰고 있어서 프리미엄 사용중 넷플릭스 그런 것보다 더 유용함

트랜스포머는 쿼리당 단가가 비싸지 않아? 그럼 chatGPT도 쿼리당 단가를 낮추는데는 한계가 있겠네?

차세대 언어 모델이 나오기 전에는 쿼리당 단가 하락은 요원한겨...?

ㅋㅋ사이트 특성상 잘읽고도 좋아요가 짠데 글 첫머리에 언급하니 많이들 찍어줬네

이래서 유튜브할때 구독과 좋아요 부탁드립니다 하는건가 싶군

몇안되는 읽판의 귀인이시니 부디 글 계속 써주길...

그동안 인간을 ai가 대체한다 대체한다 말만했지만 큰 변화는 없었는데 자연어 처리 쪽은 진짜 몇년 안에 상당수의 인간을 대체할거같음

웹코더는 몇년안에 컷될거같음?

기사들 보면 구글 바드가 망신당하고 오픈ai와 마이크로소프트 빙이 구글을 위협할것이다 난린데

구글 주가도 폭락했고

글쓴이 글과 댓글 보면 뭔가 기술적으로 최첨단을 이끄는건 구글 딥마인드 같네

글쓴이가 말하는 조만간의 다음 혁신도 구글에서 나올 가능성이 큰가?

다음 연재글에 쓰려고 했는데 내가 개드립에 다시 언제 들어오게 될지 가늠이 애매해서 그냥 여기에 붙여둠.

나는 소설에 관심이 있었고 'NOVELAI'라는 소설 인공지능 프로그램을 사용해 보았음. 이미 일러스트로 유명했다가 뒷방으로 밀려난 늙은이 신세가 된 거 같지만 원래는 텍스트 생성 인공지능이었고 일러스트 생성은 거기에 딸린 부록 같은 느낌이었음. 아마 글쓴이가 여기서 설명하는 언어인공지능의 초기형태를 사용하는 듯 함. 문장 생성하기 앞 한 10문장 쯤을 살펴봐서 'older brother', 'sister', 'shout', 'dabate' 등의 가중치를 붙일 만한 단어가 검색되면 오빠와 여동생하고 싸우는 상황에서 나올 만한 문장을 출력하는 식인 거 같았음. 이러면 사용자에게는 'NOVELAI'가 오빠와 여동생하고 말다툼하는 상황을 인식하고 그 다음에 나올 만한 상황을 문장으로 출력해낸 거 같이 보이게 됨. 여러가지 기능이 추가되고 보강되었지만 뼈대는 이렇고 나머지는 여기에 매크로만 붙인 수준이 아니었나 하고 생각하고 있음.

문제가 두 가지 있었는데 첫째는 NOVELAI의 인공지능 동작은 이런 식이라 한 줄 한 줄 내가 썼다 얘가 썼다 하는 릴레이 소설 식으로 이야기를 전개해 나가는 것까지만 딱 괜찮고 그 이상은 안되었다는 거임. 둘째는 이 녀석은 영어만 알아듣는데 그 중에서도 실제 영어사용자의 영작문에 최적화 되어 나처럼 영어를 '배워서 쓰는' 사람이나 '번역기로 돌린' 문장은 제대로 인식을 못한다는 거였음. 우리도 외국인이 한국어를 사용할 때 문법에는 틀린 게 없는데 어색하기 짝이 없는 문장을 많이 듣게 되는데 내가 영어를 쓰면 그렇게 들릴 거고 이런 걸 AI는 잘 인식을 못한다는 거였지. 물론 이런 한계점을 극복하고 얘를 소설 툴로 능숙하게 사용하는 테크닉도 존재하는 하는데(예를 들어 나는 상황에 대한 지시문만 쓰고 소설 내용 자체는 AI스스로가 문장으로 표한하게 한다던가)나는 도저히 힘들어서 그렇게 까진 할 자신이 없어서 딱 1개월만 최고 티어로 구독해 연구해보고 딱 그만두었음.

Chatgpt은 이런 거 없이 그냥 '용사가 무서운 용을 물리치고 공주를 구하는 이야기를 쓰고 싶어. 챕터부터 구상해 줘.' 이러면 1. 부름 : 한적한 시골의 농부였던 토마스는 어떻게 어떻게 해서 용으로부터 공주를 구해야 하는 사명을 받게 된다. 2. 자격 : 임금은 토마스에게 용을 물리칠 임무를 부여하기 이전에, 그를 여러가지로 시험하여 그의 자격을 확인하고자 한다. 3. 출정 : 임금으로부터 인정받고 갑옷과 무기를 장만한 토마스는 각오를 다지고 홀로 어려운 여정을 시작한다..... 이런 식으로 어디서 본 거 같지만 챕터를 주르륵 작성해주고 만약에 '등장 인물이 필요해. 이 이야기엔 어떤 등장인물이 어울릴까?' 이런 식으로 등장인물을 요청하면 '덩키, 여행 중 만나게 회색 당나귀, 사람말을 알아듣고 사람말을 한다. 거기에 더해서 거짓말로 남을 속이는 데에도 능하다. 꾸벅이, 여행 중 만나게 되는 화려한 깃털 색의 앵무새. 말은 못 하지만 알아듣기는 하고, 남이 한 말을 따라할 수는 있다. 새라서 날아다니면서 주변을 살피는 데 도움을 줄 수 있다.' 이렇게 등장인물까지 마련해 주기도 함.

그러나 구체적으로 챕터 1의 내용을 써 줘. 이런 요청을 하면 아무리 소설처럼 써 달라고 해도 굉장히 추상적이거나 휙휙 뛰는 내용으로 급 전개를 시킴. 이걸 방지하는 방법 중 하나는 챕터 1도 '평범한 농부인 토마스가 농사일에 열중하는 장면' , '토마스가 공주의 행차 행렬을 목격하는 장면', '용이 공주의 행렬을 습격하여 공주를 납치하는 장면.' '공주가 토마스에게 도움을 요청하는 장면', '토마스가 기지를 발휘하여 공주를 거의 구할 뻔하나 실패하는 장면'... 이런 식으로 세세하게 나눠서 각 장면의 묘사를 Chatgpt에 요청하면 가능하긴 했음. 마치 내가 소설을 쓰는 게 아니라 영화를 찍고 있고 각 장면(scene)을 카메라 감독인 Chatgpt에게 이야기해서 그 장면을 연출한다는 것과 비슷한 개념이 됨.

근데 이것도 힘든 건 마찬가지고, Chatgpt는 내가 요청한 최초 요청에 대한 대답을 한번 내 놓으면 내가 아무리 그 대답을 바꾸어 달라고 해도 내용을 잘 바꾸지 않는 경향이 있었음. 결국 그러다가 세션이 전체가 오류나서 펑 하고 날아가고 새로운 세션에서 아무리 이전 내용을 Chatgpt에게 다시 읽게 해도 Chatgpt는 이전의 전개 내용을 다시 잘 이어가지 못했음.

또한 이런 식으로 계속 소설을 작성한다고 하면 아무리 중간에 요약하고, 정리하고 넘어간다고 하더라도 그 분량이 쌓이게 됨. 내가 앞서 말한 NOVELAI가 최대 2048 토큰을 사용자에게 제공하고, Chatgpt 역시 2000~3000기억토큰 정도를 제공한다고 들었는데 이건 단어가 아니라 형태소의 형태로 정보를 저장한다고 하니 얘네들에게 기억시킬 수 있는 단어는 아무리 잘해도 2000~3000단어를 넘을 수가 없음. 이건 구독료를 비싸게 내거나 해서 더 많은 컴퓨팅 자원을 할당 받는 식으로 해도 토큰을 늘릴 수가 없다고 들었는데, 이런 형태라면 애초에 위와 같은 식으로 소설을 작성해 나갈 수 있다고 하더라도 한계가 있을 수밖에 없어 보임.

또한 '용은 성채만하다. 토마스는 용과 어떻게 싸울 것인가?' 이런 질문에 대해 '토마스는 용의 목을 비틀었다.' 이런 식의 대답이 나오는 경우가 많았음. 이건 아마 인공지능이 그저 질문을 언어적으로 해석하고 집채만하다는 용의 덩치에 대한 인식 없이 싸움에 대한 다음 문장으로 '목을 비튼다' 이런 문장을 생성해 낸 게 아닌가 싶음. 대체 어떻게 Chatgpt에게 용과 사람의 상대적인 크기 차이와 이로 인한 물리적인 전투방식의 변화를 설명할 수 있을까 고민해 봐도 딱히 답이 없었던 거 같음.

결국 소설을 쓰는 데에 있어서는 NOVELAI도 Chatgpt도 내가 해야 할 일을 별로 줄여주지 못했고, Chatgpt는 여기에 검열이 심해져서 글 쓰는데에는 더욱 힘들어졌음. 공주의 외모를 묘사하려고 하면 여성의 외모를 부각하는 건 좋지 않다고 경고가 뜨는 식.

내가 주로 찾아보는 (18금) 영어권 소설 사이트의 소설들에는 과거부터 TAG가 붙어 있는 경우가 많았음. 이건 소설을 보기 전에 주로 독자에게 경고의 의미로 사용되었던 거 같음. 예를 들어 Gore라는 태그가 붙어 있는 글은 잔인한 묘사가 포함되어 있으니 이런 거 나오는 거 싫어하는 사람들은 안 보는게 좋을 거 같다는 거였겠고, Humiliation 이런 태그는 등장인물 중 누군가가 정신적으로 크게 굴욕을 당하는 그런 장면이 포함되니 그런 거 보기 괴로운 사람은 보지 말라는 거였겠지. 그런데 반대로 그런 걸 좋아해서 그런 것만 찾아 보는 사람도 존재함.

그러니 이야기를 소개하면서 TAG는 세세하게 붙일 수 있으면 붙이는 게 좋은 거였고, 이야기들이 시간이 지나 방대하게 쌓이면서 TAG 검색을 지원하고 특정 TAG만 찾아보고 특정 TAG를 보고 피하는 사람들이 늘면서 이야기를 TAG로 분류하는 것은 필수가 됨. 이야기의 요소에 존재하는 TAG가 있으면 해당 태그를 가능한한 다 붙여두는 것이 권장되었음.

그런데 이야기의 분량이 짧고, TAG가 잘 붙어 있는 이야기는 역으로 붙은 TAG를 보고 이야기의 내용을 역산할 수 있는 경우도 자주 생김. 예를 들어 Sport, Genius, Brother and sister, Humiliation, Competition 뭐 이런 태그들이 한 이야기에 붙어 있으면 남매 둘 중 하나가, 혹은 둘 다가 운동 천재고, 이로 인해서 뭔가 갈등이 생길 거 같고 한 쪽이 굴욕을 심하게 당하고, 그리고 뭔가 경기나 다른 데서 뭘로든 경쟁이 붙는다. 뭐 이런 내용으로 흘러갈 것을 예측해 볼 수 있음. 내가 과거 작가의 작품을 이미 알고 있고 이 작가가 어떤 성향으로 어떤 글을 써 왔는가를 알고 있다면 예측의 정밀도가 더 올라가겠지.

이런 식으로 잘 sort된 스토리들의 데이터가 있다면, 하나의 소설 텍스트의 생성 역시 하나의 일러스트 생성하는 것과 크게 다른 거 아니지 않나 라는 생각이 들었음. 문제는 각 TAG의 요소들을 어떻게 긴밀하게 연결하여 하나의 의미 있는(적어도 그럴싸한) 이야기를 재구성하는 가인데, 이미 이건 그림에서 하고 있는 거 같아서.

컴공과 전공했는데도 도움됐다 고맙다!