일단 예비 대학원생임돠
회사생활도 잠깐이나마 해보면서 주로 파이썬으로 데이터 전처리, 딥러닝 모델 학습, 도커로 모델이랑 환경 배포등을 해본 경험은 있음
코드라는게 어거지로 짜도 돌아는가잖아?
근데 이제 코드를 더 빠르고, 메모리 적게 사용하는등 효율적으로 짜는 걸 해보고 싶음, 특히 데이터 전처리쪽에서
Pandas에서 용량 큰 csv파일을 효율적으로 전처리 한다던가...
큰 이미지 데이터셋에서 여러개의 이미지들을 빠르게 전처리 한다던가...
이런쪽 공부는 어떻게 해야할까???
코딩테스트 연습문제들에서도 이런 내용을 다룸???
gogogog
데이터가 이미지같은 행렬 구조면 파이썬에선 numpy를 쓰는게 좋고 그 이상으로 빠르게 처리하고싶으면 CUDA 써서 병렬로 처리해야겠지
메모리 적게 먹는건 너가 임베디드쪽 하는거 아니면 그냥 신경 안쓰는게 좋음. 병렬처리하면서 공간복잡도까지 고려하면 머리터짐
근데 CUDA 병렬프로그래밍 잘못하면 더 느려저서 쉽게 못하겠더라
오엽짱
적당한 부분에서 numpy나 pandas 처럼 라이브러리 가져다 쓰는게 좋아 파이썬 자체가 고도 추상화 되어 있어서 속도가 느릴뿐더러
저런 알고리즘은 이미 일반 개발자 수준에서 성능향상을 논할정도 레벨을 아득히 넘어 버림