https://www.youtube.com/live/LipsVK5d_vM?si=qb8aLlE5gGA_sdEq&t=9981
회사는 바이트댄스(틱톡) 이고 특정 케이스에서 네트워크 레이턴시 줄이고 메모리 사용량 30% 줄였다는데
실제 커널에 커밋된 코드인지는 모르겠으나 과연 리누스 토발즈는 이런 짓에 뭐라고 답변할지 너무 궁금함
15개의 댓글
무분별한 사용은 차단될 수 있습니다.
https://www.youtube.com/live/LipsVK5d_vM?si=qb8aLlE5gGA_sdEq&t=9981
회사는 바이트댄스(틱톡) 이고 특정 케이스에서 네트워크 레이턴시 줄이고 메모리 사용량 30% 줄였다는데
실제 커널에 커밋된 코드인지는 모르겠으나 과연 리누스 토발즈는 이런 짓에 뭐라고 답변할지 너무 궁금함
복권1등가자
와 AI 발전 미쳐가네 ㄷㄷ
베트남외노자
중간 커널 단계에서 Machine Learning이 데이터를 최적화한뒤에 전송하는 방식인가
ye
그냥 커널 코드자체를 수정한거
최적화를 AI보고 해달라고 한셈
베트남외노자
아하! ChatGPT 보고 최적화 해달라고 한꼴이네 ㅋㅋㅋ
조강현
ye
GPT는 LLM 일뿐이고 저런건 본인들이 모델 만들어서 학습시켜 했겠지
바이트댄스 규모면 더더욱
상쾌하게깨끗하게
중국애 영어하는 거 알아듣기 정말루 힘드네..ㅋㅋㅋ 말까지 더듬어서ㅋㅋㅋ
ye
나도 그냥 프레젠테이션 내용만 읽고 넘김
Vv연옥의사신vV
조강현
잉텔
LLM 학습은.. 4090으로 매우부족..
조강현
anywhere
사실상 일반 상용 컴퓨터로 llm 모델링하고 학습할 수가 없을걸
쟤네도 gpu 기본 48기가 넘는걸로 몇개씩 묶고 묶은걸 또 묶어서 학습하는데
anywhere
그 중에 작은 모델이야 어찌저찌 돌릴수 있다쳐도
성능이 그만큼 안나올 가능성이 높고
6974
예전에 퀵소트 ai가 최적화했다는거 보니까 어셈단위에서 최적화하더라