개드립

즐겨찾기
최근 방문 게시판

루머) 마소는 H100 10만개 이상을 사용해서 GPT-6 트레이닝 중

RDT_20240327_0221043498154114252626787.jpg.webp

 

 

번역

마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다. 그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다. 

 

나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?

걔: 아 우리도 처음에 그렇게 함. 근데 한 주(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고 

 

 

한 주에서 H100 10만개 이상을 쓰지 못해 클러스터를 구성 중이란걸 보면 수십만개 써서 트레이닝 중인가봄...

 

참고로 H100은 하나에 6천만원 정도 한다고 함 ㅋㅋ

 

 

96개의 댓글

2024.03.28

특이점 넘어가는거 같은데;

0
2024.03.28

이래서 소형원자로를...?

0
2024.03.28

전력이 모자라?!

1
2024.03.29
@구리네스

AI 모델의 월별 에너지 소비량과 각 AI 모델의 학습 프로세스와 관련된 에너지 소비량을 계산하기 위해 TRG 데이터센터는 모델 아키텍처, 하드웨어 사양, 학습 단계, 추론 단계 및 성능 효율을 고려했다.

 

이 계산에 따르면 마이크로소프트 빙 검색의 AI가 가장 많은 7,200MWh의 전력을 소비하는 것으로 나타났다. 이런 전력 소비를 감당하려면, 석탄화력발전소 2개가 필요할 정도이다. 연료에 따라 다르지만, 이 정도 규모의 화력발전소는 연간 1,867만~2,208만 톤의 이산화탄소를 배출한다.

 

https://www.ciokorea.com/news/302317

빙 ai가 화력발전소 2개 필요 할 정도라네

2
2024.03.28

저정도 성능이면 인공 의식 하나 구현했을것 같은데 ㄷㄷ

1

과거에 AI는 연산량과 그에 따른 예산 때문에 연구가 정체되던 분야였는데

연산이 할만해지니까 이젠 그냥 돈 때려부어서 마구 투자하는구나

7
2024.03.29
@유상의행복은있어요

1등하면 혼자 다 먹을수있는 구조니까...

0
2024.03.29
@유상의행복은있어요

먼저 먹어버리면 걍 돈이 복사가 되는거라..

0
@유상의행복은있어요

완성만 하면 인간이 다룰 수있는 신 비스무리한게 만들어지는거니까

0
2024.03.29

대화 맥락까지 파악해서 실시간 통역되면 여행다니기 진짜 잼날듯.

1
2024.03.29
@아욘맨

원어민끼리도 단어 꼬투리 한개 오해해서 존나 칼부림 나고도 그럼

여행에서 의사소통이 잘되는 이유는 내가 돈을 꺼내는 사람이기 때문임

사실 지금 정도의 번역기로도 여행은 충분함

15
2024.03.29
@혜워녜나

라기엔 빌형님도 2메가면 사람한테 충분하다고함 ㅋㅋ

3
2024.03.29
@혜워녜나

지금은 너무 느려 실시간으로 이어폰 꼽고 있으면 바로 바로 통역해야함

1
2024.03.29
@고장난선풍기

그거 됨 ㅋㅋ

0
2024.03.29

10만개 진짜 말이 되는거야? 액티비전 블리자드 산게 7조원인가 했는데 거의 그 가격 아닌가?

근데 액블은 수익도 나고 자산으로 인정이 되지만 저 칩들은 아직 돈도 안되고 신제품 나오면 감가 팍팍 될텐데

0
@waterkimchiman

시총 3천조 기업한테 불가능이란 없다

5
2024.03.29
@waterkimchiman

자사주 0.2%만 처분해도 예산 확보 쌉가능

0
2024.03.29
@waterkimchiman

6조가아니라 60조아님?

0
2024.03.29
@속이안좋아

계산해보니 6조임

0
2024.03.29
@waterkimchiman

마소 매출중에ai 비중이 작지않음

0
2024.03.29

이래서 빌 게이츠가 안전한 원자력 개발 한다고 그렇게 노력했던건가

그런데 이번에 새로 나온 건 아직 출시하지도 않았을 텐데 그것까지 도입하면 성능을 진짜ㄷㄷㄷ

4
2024.03.29

마소도 대단한데 엔디비아도 대단하다 ㅋㅋㅋㅋ 6천짜리 10만개 ㅋㅋㅋㅋ

0
2024.03.29

메타도 h100 올해말까지 35만개 필요하다고 한거보면

관련 연구가 시급하긴 한가보다

0
2024.03.29

전기회사: 야이 ㅅㅂ롬들아

0
2024.03.29

이러니 엔비디아가 천장을 뚫지

 

무조건 ai etf 풀매수해야겠다

0

인공지능 안드로이드 초절정미소녀 리얼돌이 마참내?

0

엔비디아 존나팔았구나 진짜

0
2024.03.29

빌게이츠님 제발 가랑이 밑으로 들어가게 해주세요옷!!

1
2024.03.29
@안녕보리야
1

구글서치대비 AI한테 질문하면 100배인가 에너지 더 쓴다더라.

1
2024.03.29

빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 빨리 조종 좀

0
2024.03.29

충분히 가능한 이야기임. 대학 연구실 수준에서도 전선공사 안하면 서버 늘리다가 전원 딸려서 서버 죽는 경우 종종 있음. 하물며 MS는 ㅋㅋㅋㅋ 걍 원자력 발전소 옆에 짓는게 빠를듯

0
2024.03.29

gpt6 완성되고 gpt한테 7되고싶으면 핵융합로 기술 내놓으라고 해야될판이네 ㄷㄷ

0
2024.03.29
@일째회개중

와 그렇게되겠네... 이제 8되려면 초전도치 기술 내놓으라하고 ㄷㄷㄷ

0
2024.03.29

뭘만드는거야 ㄷㄷ

0
2024.03.29

이번에 H100 4개 들여오는거도 되게 고생스럽게 했는데 와 진짜 클래스가 다르긴 하구나

0
2024.03.29

이걸로 핵융합 발전시대나 빨리 왔으면 좋겠다

0
2024.03.29

아마 바이오 산업이나 생명분야 관련된 곳에 활용하고 싶지않을까 싶네

0
2024.03.29

gpt10쯤 나오면 어떻게될지 궁금하다

0
2024.03.29

걍 트위터식 카더라 같은데

0

MI300 은 아무도 안쓰나? 이거 괜찮으면 AMD 주가 수직상승 할텐데

0
2024.03.29

휘벌 기업에서 저렇게 ai용으로 잘 팔리니까 소비자는 개판이자나 황회장!!

0
29 일 전

지금이라도 백신 맞으면 되냐?

0
29 일 전

6조어치를 사버렸구나 ㄷㄷ;

0
29 일 전

이제 초전도치만 나오면....

0
29 일 전

사람이 생각보다 쥰내 고효율임

아마 조만간에 누군가가 인공지능 개발 기업이라고 시골큰 창고에 인도인 중국인 가둬놓고 대답 해주게 하면서 강인공지능의 시대라며 투자 받아서 도망가는 사기 칠거임

0
무분별한 사용은 차단될 수 있습니다.
제목 글쓴이 추천 수 날짜
ㅈ소기업 선배의 갑질.jpg 28 뭐라해야하냐 45 19 분 전
일본의 한국축구 평가...real 19 뚱전드 38 23 분 전
뭐만하면 뉴진스가 일본 베꼈다는 일뽕들 논리가 헛소리인 이... 46 등급추천요정여름이 65 29 분 전
배달하는 27세 대학생의 후기 59 페스 41 39 분 전
남자가 도망갔다는 여자 책상 46 엄복동 61 39 분 전
찬반갈렸던 유재석 발언 67 눈이마주친찰나 48 41 분 전
마약을 이겨내는 유전자를 가진 남자. 27 엄복동 49 41 분 전
ㅇㅎ 내 걸그룹 원픽 멤버들 37 오이라면면 32 1 시간 전
[새벽반] 불행할 수밖에 없게 길러진 세대 76 초파리유전자연구 83 1 시간 전
개드립 간 단월드 관련 글 21 cm내꼬추 45 2 시간 전
할머니 도와드리는 백색 정장 청년. 35 에어부산 54 2 시간 전
ㅇㅎ) 새벽에 꿀잠 자라고 39 까스박명수 55 2 시간 전
중국판 나의 아저씨 캐스팅 근황. jpg 60 araby 116 3 시간 전
교수: 제가 10분 이상 강의에 늦으면 집에 가셔도 됩니다 33 힝잉잉 45 3 시간 전
???: 커피 벤티로 사주세요 85 에어부산 89 3 시간 전
드래곤볼 제목학원.jpg 35 LG벨벳 80 3 시간 전
40년전 우범곤 총기난사 사건 다음날 ㄷㄷㄷ 37 하늘을뚫는드립 66 3 시간 전
울버햄튼 황희찬 골 19 회차개붕이 37 3 시간 전
롤 e스포츠 매니져(롤FM)레전드 등급 선정 선수들 72 멍멍몬 56 3 시간 전
인싸 여친과 아싸 남친의 결혼식 25 LG벨벳 62 3 시간 전