개드립

즐겨찾기
최근 방문 게시판

루머) 마소는 H100 10만개 이상을 사용해서 GPT-6 트레이닝 중

RDT_20240327_0221043498154114252626787.jpg.webp

 

 

번역

마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다. 그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다. 

 

나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?

걔: 아 우리도 처음에 그렇게 함. 근데 한 주(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고 

 

 

한 주에서 H100 10만개 이상을 쓰지 못해 클러스터를 구성 중이란걸 보면 수십만개 써서 트레이닝 중인가봄...

 

참고로 H100은 하나에 6천만원 정도 한다고 함 ㅋㅋ

 

 

96개의 댓글

2024.03.28

와...

0
2024.03.28

맙소사....미국을 누가 따라잡을거냐 이제...

11
2024.03.28
@착한말착한말

중국이 뛰어넘을것

0
2024.03.28
@나는미도

하지만 중국은 AI 반도체 분야는 금지당해서 사지도 못하는걸

2
2024.03.29
@나는미도

무슨수로 ㅋㅋㅋㅋㅋ

1
2024.03.29
@나는미도

중국 미국에 비하면 발리고 있.... 거긴 장비 수급도 힘드러...지금..

0
2024.03.28
@착한말착한말

누구도 미국을 따라잡을 수가 없음

 

사실 이렇게 계속 가면 미국 자체가 MS와 Open AI에 먹힐 가능성도 있음.

 

테크는 어느 선을 넘어서면 그 자체로 권력이 됨...

10
2024.03.28
@nesy

반독점법 안 걸림?

0
2024.03.28
@알파로메오

그걸 피하는 방법을 gpt가 고안해낼것 ㅋㅋㅋㅋ

3
2024.03.28
@알파로메오

새로운 기술은 반독점법 적용하기까지 시간이 걸리고(신기술의 마켓 범위를 정의하기가 애매함)

 

MS, Open AI가 바보도 아니고 방법을 찾겠지..

6
2024.03.28
@알파로메오

ati라고 반독점법 면책조항있음 미국이 생각이 있으면 타국이랑 초격차 내는데 반독점으로 태클걸진 않을듯 애플처럼 기술격차로 독점하는게 아니라 플랫폼 생태계독점 들어가면 조지려고 하겠지만

그래서 특별한거 없으면 빅테크 기업들은 딱히 반독점으로 안건듬

5
2024.03.29
@Whagggg

쟤가 미국이 먹힌다길래 미국이 병신인가 시퍼씀

0
2024.03.28

이래도 MSFT NVDA 안살거야?

0
2024.03.28

황회장 : 끼얏호우~~

0
2024.03.28

아니 h100 한대에 6천만원 ㄹㅇ임?

 

10만개면 얼마야....

0
@착한말착한말

6조..

6
2024.03.28
@착한말착한말

6천만원까지는 아니고 5000정도함

근데 이번에 나올 GB200은 8억 이상 예상중임

1
2024.03.28
@하도깝쳐체리

많이 살건데 깎아줘~ 하면 에이 사장님 누군 흙 퍼먹고 살라고~ 하면서 못 이기는척 깎아줌

1
2024.03.28
@미세민지

시발 흐름 너무 자연스러운데

대만 사람도 그러나

1
2024.03.29
@혜워녜나

대만 사람 아니라서 몰라요우

0
2024.03.28
@착한말착한말

세계1위 기업이 6조라고 하니까 체감상 좀 싸게느껴지네

삼성이 짓고있는 공장도 6~7조아님?

0
2024.03.29
@아이날러

GPU만 6조인거고 그거를 위한 설비, 세팅, 인건비는 별개지

0
2024.03.29
@505헬붕이

10조면 정말 정말 정말 싸게 먹히는거 아닐까

0
2024.03.28

대체 전기를 얼마나 먹는거야 ㅋㅋㅋ

2
2024.03.28

인텔 쓰라고 인텔!!!

0
2024.03.28

핵융합이 시급하다 정말

0
2024.03.28

5는 어디가고 벌써 6임??

2
2024.03.28
@아냐포저

5는 이미 베타 테스트중일걸?

0

이제 Ai님이 미천한 인간을 보살펴주실 것이다!! 리산 알 가입!! 리산 알 가입!!

0
@살에눈나와어른의계단넘자

그동네에서 ai 신봉하면 잡혀가요 시발ㅋㅋㅋㅋ

2
2024.03.29
@슈리마불가촉천민

ㅋㅋㅋㅋ 개웃기네

0

하나에 0.5kw 라 쳐도 100k개면 50mw네 ㅎㄷㄷ

0
2024.03.28
@야옹아멍멍해봐

님 의견은 정확히 이해 했읍니다만....단위에서 대소문자를...특히나 m/M을 혼용하시면 너무 큰 오류가 있읍니다아....

2
2024.03.28
@야옹아멍멍해봐

쓰레기 매립 후 발생되는 매립가스(Landfill Gas, LFG)를 이용하는 수도권매립지 50MW 발전소가 지난 한해 3억 8,200만kWh의 전력을 생산하고 551억 원의 전력판매수입을 얻은 것으로 나타났다.

 

https://www.korea.kr/briefing/pressReleaseView.do?newsId=155904186#pressRelease

 

앵간한 발전소 혼자 다 처먹네

1
@kokolord

그래도 비트코인보다는 1억배는 사회 생산성에 도움이될듯

2
2024.03.28

5 가 안나왔는데?

0
2024.03.29
@GTA11

원래 학습 = 신모델 만들기

5를 내놓을 준비 해놓고, 6은 이제 만들고 있다는 말인듯.

2
2024.03.28

내 남루한 상상력으론 대체 저게 어떤 세상인지 상상도 안된다

무슨 말도 안되는 일이 벌어지고 있는건지 ㅋㅋㅋㅋㅋ

0
2024.03.28

기다려 200억으로 개발하는 K-GPT가 간다!!!

4
2024.03.28
@울보고양이

 

미국인: 와우!! 200억달러요? 한쿡정부 생각보다 통이 큽니다!!

 

https://www.dogdrip.net/547672181

8
@울보고양이

대충 침질질흘리는 페페콘

1

아니 님아 진짜 초지능을 만들면 어떻게 해여

0

저렇게 gpt6만들어놓고 3차대전 터져서 인공지능 개발과정은 다잃고 결과만 남으면?

0
2024.03.29
@세상에나쁜게이는없다

어차피 학습계속 안하면 제자리 지능임

인간지배하는 인공지능 걱정들 많이하는데 전혀 문제없음

인공지능은 존나 코인 잘 하는데 방구석에서 안나가고 밥은 또 존나 처먹는 2백킬로 히키코모리랑 같음

번 돈 받아서 장봐서 밥해서 방에 넣어줄 부모 없으면 굶어죽음

0
2024.03.29
@혜워녜나

장봐서 밥해주는 부모가 인간들을 지배하려 한다면...?

1
2024.03.28

마소랑 매타는 이미 h100 15만개가 있다

0
2024.03.28

저기에 바이러스같은거 퍼뜨리면 무용지물되는건가

0
2024.03.28

몇 개를 쓰는 거야 ㅅㅂㅋㅋㅋ

0
2024.03.28

선넘으먼 물리적으로 파괴해 주겠지 ㅋ.ㅋ

0
2024.03.28

21세기형 러다이트 운동이 생길것 같기도하고...

0
무분별한 사용은 차단될 수 있습니다.
제목 글쓴이 추천 수 날짜
개붕이의 식탁 - 수육보쌈 16 개무리다 15 방금 전
한국 풍수지리가 한국에만 통하고 해외엔 무용지물인 이유.jpg 23 렉카휴업 30 3 분 전
대전역에 성심당이 얼마나 얼탱이 없는 위치냐 하면 49 온푸 37 12 분 전
특S급 짭이 나오는 이유.jpg 49 오브 51 13 분 전
천재라는 소릴 듣던 어린 시절.jpg 40 김츼 30 13 분 전
유재석 : 우리 딸 나은이가 힙합유치원 좋아해...mp4 25 형님이새끼웃는데요 36 18 분 전
캐나다에서 마녀가 사슴 사체 먹는 모습 발견 36 엄복동 50 21 분 전
미친 아반떼N 칼치기 84 구름이구름 47 25 분 전
중국의 기싸움 레전드 51 착한생각올바른생각 61 49 분 전
기성용 물병 낭심에 맞아 부상 76 유미주의 79 52 분 전
남친 꼴값 레전드...jpg 95 여자치킨 103 54 분 전
전국 빵장인들이 겨루는 격전지가 되고있다는 대전 127 사무직렉카 64 1 시간 전
질풍가도 부르는 안야테일러조이 53 이타헨아잉 55 1 시간 전
싱글벙글 전쟁 중에 만난 여자.Manhwa 52 덕천가강 85 1 시간 전
틱톡커 누나가 사인해주는 법 62 이클립스민트향 80 1 시간 전
ㅆㄷ)호리데이 야스미 오늘자 19 조쓰스톤 47 1 시간 전
태조 왕건 사극에서 최수종이랑 존재감 동급이었던 조연.jpg 54 카이부츠와다레다 37 1 시간 전
E들 행복사시킬 수 있는 단어 42 착한생각올바른생각 78 1 시간 전
파스타면 종류 신경 안쓰는 이유 67 검은사신 103 1 시간 전
달동네 살던 외국인이 느낀 K낭만 38 니똥굵다 58 1 시간 전