AI를 좀 파다 보면 어느 순간 “TPU"라는 단어를 마주치게 됩니다. 처음엔 GPU 오타인 줄 알았어요. 진짜로. 근데 찾아보니까 Google이 AI 전용으로 만든 완전히 다른 칩이더라고요. GPU가 AI 학습의 표준처럼 쓰이고 있는데, 그러면 TPU는 대체 왜 만든 걸까? 그리고 뭐가 다를까? 오늘은 이 둘을 제대로 비교해보려고 합니다. TPU가 뭔데? TPU는 Tensor Processing Unit의 약자입니다. 이름에서 눈치채신 분도 있겠지만, “텐서” 연산에 특화된 프로세서예요. 텐서가 뭐냐면, 쉽게 말해서 AI 모델이 계산할 때 쓰는 다차원 배열(행렬) 같은 겁니다. 딥러닝에서 핵심이 되는 연산이죠. ...
예전에 AI 하려면 리눅스를 써야 하냐는 글을 쓴 적이 있는데, 그때 결론이 “본격적으로 하면 리눅스가 편해지는 시점이 온다"였습니다. 그 시점이 오면 어떻게 해야 하느냐. 컴퓨터를 포맷하고 우분투를 깔 필요까지는 없습니다. 윈도우 안에서 리눅스를 돌릴 수 있는 WSL2라는 물건이 있기 때문입니다. 이 글은 “WSL2가 뭔지는 대충 들어봤는데 실제로 세팅하면 뭘 얻는 건지, 어떻게 하는 건지 모르겠다"는 사람을 위한 글입니다. 그냥 따라 치면 끝나도록 정리했습니다. WSL2가 해결해주는 문제 윈도우에서 AI 작업을 하다 보면 부딪히는 벽이 몇 개 있습니다. ...
써멀 페이스트, 대충 바르면 안 되나? PC를 직접 조립해본 사람이라면 써멀 페이스트(써멀 구리스)를 한 번쯤은 만져봤을 거예요. CPU 위에 짜서 쿨러를 올리는 그 회색 물질이요. 근데 의외로 이걸 대충 처리하는 분들이 많습니다. “어차피 뭘 바르든 비슷한 거 아니야?“라고 생각하기 쉬운데, 솔직히 말하면 꽤 차이 납니다. 특히 요즘 CPU들은 전력 소모가 많아져서 발열이 장난이 아니거든요. 쿨링 솔루션 가이드에서도 얘기했지만, 아무리 좋은 쿨러를 달아도 써멀 페이스트가 엉망이면 열 전달이 제대로 안 됩니다. 쿨러와 CPU 사이의 미세한 틈을 채워주는 게 써멀 페이스트의 역할이니까요. ...
AI 관련 커뮤니티를 돌아다니다 보면 꼭 나오는 질문이 있습니다. “GPU 하나로 부족한데, 두 개 꽂으면 두 배로 빨라지나요?” 솔직히 말하면, 맞을 때도 있고 아닐 때도 있습니다. 게임에서의 SLI 시대를 기억하는 분이라면 “그거 결국 망했잖아"라고 생각하실 수도 있는데, AI 쪽에서는 상황이 좀 다릅니다. GPU 하나로는 부족해지는 순간 VRAM이 뭔지 아시는 분이라면 감이 오실 텐데, AI 모델을 돌리려면 모델 전체를 GPU 메모리에 올려야 합니다. 문제는 모델이 점점 커진다는 거예요. 7B 파라미터 모델은 16GB VRAM이면 대충 돌아갑니다. 근데 13B? 30B? 70B? 이쯤 되면 VRAM 24GB짜리 RTX 4090 한 장으로도 감당이 안 됩니다. 모델을 양자화해서 줄이는 방법도 있긴 한데, 그러면 성능이 떨어지거든요. 이때 GPU를 여러 장 쓰면 VRAM을 합쳐서 쓸 수 있습니다. ...
게이밍 PC로 AI 돌려도 되는 거 아냐? AI 작업을 시작하려는 사람들이 가장 많이 하는 질문 중 하나가 이거입니다. “게이밍 PC 있는데 이걸로 AI 학습 돌려도 돼?” 답부터 말하면, 됩니다. 실제로 많은 사람들이 게이밍 PC로 AI 작업을 하고 있거든요. 하지만 “워크스테이션"이라고 불리는 장비가 따로 존재하는 데는 이유가 있습니다. 오늘은 이 둘의 차이가 뭔지, 어떤 상황에서 뭘 골라야 하는지 정리해봤습니다. GPU부터 다르다 가장 큰 차이는 GPU입니다. 게이밍 GPU (GeForce 시리즈) RTX 4070, RTX 5070, RTX 4090 같은 것들 게임 렌더링에 최적화 VRAM이 8~24GB 수준 가성비가 좋음 워크스테이션/서버 GPU (RTX 프로, A시리즈, H시리즈) ...
왜 RTX 5070을 골랐나 AI 관련 작업을 하다 보면 GPU가 필수인데, RTX 4090은 너무 비싸고 RTX 4070은 VRAM이 아쉬웠습니다. 그러다 RTX 5070이 나왔길래 바로 구매해서 한 달 정도 써봤습니다. 오늘은 AI 작업 기준으로 솔직한 후기를 남겨봅니다. 기본 스펙 정리 항목 RTX 5070 VRAM 12GB GDDR7 CUDA 코어 6144개 TDP 250W 출시가 약 80만원대 AI 작업 성능 Stable Diffusion 이미지 생성 속도가 RTX 4070 대비 확실히 빨라졌습니다. 512x512 기준으로 약 30% 정도 빠른 체감입니다. 다만 VRAM 12GB라서 고해상도 이미지를 대량으로 뽑을 때는 가끔 메모리 부족이 뜹니다. ...
들어가며 “AI 공부하려면 노트북 스펙이 어느 정도 되어야 해요?” 라는 질문을 주변에서 많이 받습니다. 저도 처음에 뭘 기준으로 봐야 할지 몰라서 한참 찾아봤는데, 그때 정리해둔 내용을 공유합니다. 가장 중요한 건 GPU AI 작업에서 CPU보다 GPU가 훨씬 중요합니다. 특히 NVIDIA GPU가 거의 필수입니다. AMD나 Intel GPU도 발전하고 있지만, 대부분의 AI 프레임워크가 NVIDIA CUDA에 최적화되어 있어서 호환성 면에서 NVIDIA가 압도적입니다. VRAM이 핵심 GPU에서도 가장 중요한 건 VRAM 용량입니다. 8GB — AI 입문, 간단한 모델 학습 가능 12GB — 중급 작업까지 무난 16GB 이상 — 큰 모델도 돌릴 수 있음 VRAM이 부족하면 아예 실행이 안 되는 경우가 많아서, 나중에 후회하지 않으려면 넉넉한 게 좋습니다. VRAM 개념이 생소하다면 VRAM이 뭔지, 왜 중요한지 쉽게 정리를 먼저 읽어보세요. ...
왜 클라우드 GPU인가 AI 모델을 학습시키려면 좋은 GPU가 필요한데, 좋은 GPU를 사려면 부담이 큽니다. 자주 쓰지 않는다면 클라우드에서 빌려 쓰는 게 더 합리적일 수 있습니다. 직접 GPU를 구입할 계획이라면 GPU VRAM이 왜 중요한지부터 알아두세요. 주요 서비스들을 직접 써보고 느낀 점을 정리해봤습니다. Google Colab 가장 접근하기 쉬운 서비스입니다. 구글 계정만 있으면 바로 쓸 수 있고, Jupyter Notebook 환경이라 AI 공부할 때 편합니다. 좋은 점 무료 플랜으로도 기본적인 AI 작업 가능 설정할 게 거의 없어서 초보자 친화적 구글 드라이브랑 연동이 편함 아쉬운 점 ...
VRAM이 뭐야? VRAM은 Video RAM의 줄임말로, GPU(그래픽카드)에 달린 전용 메모리입니다. 컴퓨터의 일반 RAM이 CPU가 쓰는 메모리라면, VRAM은 GPU가 쓰는 메모리입니다. GPU가 작업할 때 필요한 데이터를 여기에 올려놓고 씁니다. 쉽게 비유하면 GPU = 요리사 VRAM = 조리대 일반 RAM = 냉장고 요리사(GPU)가 요리(연산)를 하려면 재료를 조리대(VRAM)에 올려놓아야 합니다. 조리대가 좁으면 재료를 다 올려놓지 못해서 냉장고(RAM)에서 왔다갔다 해야 하고, 그만큼 느려집니다. 조리대가 넓으면? 재료를 한 번에 펼쳐놓고 빠르게 요리할 수 있습니다. 게임할 때 VRAM 게임에서 VRAM은 주로 **텍스처(그래픽 데이터)**를 저장합니다. ...
게임은 경쟁하는데 AI는 왜? 게임 GPU 시장에서 NVIDIA와 AMD는 치열하게 경쟁합니다. 세대에 따라 AMD가 앞서기도 하고, 가성비로는 AMD가 나을 때도 있습니다. 그런데 AI 분야에서는 NVIDIA가 압도적입니다. 시장 점유율이 80% 이상이라고 합니다. 왜 이런 차이가 날까요? 이유 1: CUDA 생태계 가장 큰 이유입니다. CUDA는 NVIDIA가 만든 GPU 프로그래밍 플랫폼입니다. AI/딥러닝의 핵심 프레임워크인 PyTorch, TensorFlow가 CUDA 기반으로 만들어졌습니다. 10년 넘게 CUDA 위에서 발전해온 거라, 최적화 수준이 다릅니다. AMD에도 ROCm이라는 대응 플랫폼이 있지만: ...