AI를 좀 파다 보면 어느 순간 “TPU"라는 단어를 마주치게 됩니다. 처음엔 GPU 오타인 줄 알았어요. 진짜로. 근데 찾아보니까 Google이 AI 전용으로 만든 완전히 다른 칩이더라고요. GPU가 AI 학습의 표준처럼 쓰이고 있는데, 그러면 TPU는 대체 왜 만든 걸까? 그리고 뭐가 다를까? 오늘은 이 둘을 제대로 비교해보려고 합니다. TPU가 뭔데? TPU는 Tensor Processing Unit의 약자입니다. 이름에서 눈치채신 분도 있겠지만, “텐서” 연산에 특화된 프로세서예요. 텐서가 뭐냐면, 쉽게 말해서 AI 모델이 계산할 때 쓰는 다차원 배열(행렬) 같은 겁니다. 딥러닝에서 핵심이 되는 연산이죠. ...
AI 데이터, 생각보다 금방 쌓인다 AI를 조금이라도 만져본 사람이라면 알 거예요. 데이터셋이란 게 처음엔 몇 GB 정도인데, 이미지 데이터셋 한두 개 받고, 모델 체크포인트 몇 개 저장하다 보면 순식간에 수백 GB가 넘어갑니다. 솔직히 저도 처음에는 “1TB면 넉넉하겠지” 했다가 한 달 만에 고민에 빠졌거든요. 그래서 결국 내장 SSD 외에 추가 저장공간이 필요해지는데, 이때 보통 두 가지 선택지가 나옵니다. 외장 SSD를 사거나, NAS를 들이거나. 둘 다 장단점이 확실해서 “뭐가 무조건 좋다"고 말하기 어렵습니다. 자기 상황에 맞는 걸 골라야 하죠. ...
AI 관련 커뮤니티를 돌아다니다 보면 꼭 나오는 질문이 있습니다. “GPU 하나로 부족한데, 두 개 꽂으면 두 배로 빨라지나요?” 솔직히 말하면, 맞을 때도 있고 아닐 때도 있습니다. 게임에서의 SLI 시대를 기억하는 분이라면 “그거 결국 망했잖아"라고 생각하실 수도 있는데, AI 쪽에서는 상황이 좀 다릅니다. GPU 하나로는 부족해지는 순간 VRAM이 뭔지 아시는 분이라면 감이 오실 텐데, AI 모델을 돌리려면 모델 전체를 GPU 메모리에 올려야 합니다. 문제는 모델이 점점 커진다는 거예요. 7B 파라미터 모델은 16GB VRAM이면 대충 돌아갑니다. 근데 13B? 30B? 70B? 이쯤 되면 VRAM 24GB짜리 RTX 4090 한 장으로도 감당이 안 됩니다. 모델을 양자화해서 줄이는 방법도 있긴 한데, 그러면 성능이 떨어지거든요. 이때 GPU를 여러 장 쓰면 VRAM을 합쳐서 쓸 수 있습니다. ...
게이밍 PC로 AI 돌려도 되는 거 아냐? AI 작업을 시작하려는 사람들이 가장 많이 하는 질문 중 하나가 이거입니다. “게이밍 PC 있는데 이걸로 AI 학습 돌려도 돼?” 답부터 말하면, 됩니다. 실제로 많은 사람들이 게이밍 PC로 AI 작업을 하고 있거든요. 하지만 “워크스테이션"이라고 불리는 장비가 따로 존재하는 데는 이유가 있습니다. 오늘은 이 둘의 차이가 뭔지, 어떤 상황에서 뭘 골라야 하는지 정리해봤습니다. GPU부터 다르다 가장 큰 차이는 GPU입니다. 게이밍 GPU (GeForce 시리즈) RTX 4070, RTX 5070, RTX 4090 같은 것들 게임 렌더링에 최적화 VRAM이 8~24GB 수준 가성비가 좋음 워크스테이션/서버 GPU (RTX 프로, A시리즈, H시리즈) ...
GPU만 신경 쓰다가 메모리에서 막힌다 AI 작업할 때 GPU, GPU, GPU… 다들 그래픽카드 얘기만 하잖아요. 물론 GPU가 제일 중요하긴 합니다. 근데 실제로 작업하다 보면 메모리(RAM) 부족 때문에 막히는 경우가 생각보다 많거든요. 모델 로딩하다가 멈추거나, 데이터 전처리하다가 느려지거나, 브라우저랑 같이 쓰면 시스템이 버벅거리거나. 이런 상황을 겪어보면 “아 메모리를 좀 더 넣을 걸” 하는 생각이 듭니다. 그래서 오늘은 AI 작업 기준으로 메모리가 실제로 얼마나 필요한지 정리해봤습니다. 16GB — 가능은 하지만 빡빡하다 일반 사무용으로는 16GB면 충분합니다. 근데 AI 작업에서는 좀 부족해요. ...
GPU만 중요하다고 생각했는데 AI 작업한다고 하면 다들 GPU 이야기만 합니다. VRAM 몇 GB냐, RTX 몇 번이냐. 근데 솔직히 CPU를 완전히 무시하다가 낭패 보는 경우가 꽤 있어요. 제가 그랬습니다. GPU 좋은 거 쓰면 다 해결되겠지 싶었는데, 막상 써보니 데이터 전처리나 모델 로딩 속도에서 CPU 성능 차이가 눈에 띄더라고요. 오늘은 AI 작업에서 CPU가 실제로 어떤 역할을 하는지, 어떤 걸 골라야 하는지 정리해봤습니다. AI 작업에서 CPU가 하는 일 GPU가 연산의 핵심인 건 맞습니다. 행렬 연산, 병렬 처리 — 이건 GPU가 압도적이에요. 근데 CPU가 완전히 빠지는 건 아닙니다. ...
노트북 살 때 갑자기 NPU 이야기가 나오기 시작했다 요즘 노트북 스펙 보면 CPU, GPU, RAM 옆에 NPU라는 항목이 슬쩍 끼어 있습니다. 그리고 Copilot+라는 로고가 붙어 있는 제품들이 늘어났어요. 처음엔 그냥 마케팅 용어겠거니 했는데, 좀 파고들어 보니까 단순한 홍보 문구만은 아니더라고요. 오늘은 이 Copilot+ PC가 뭔지, NPU가 실제로 어떤 역할을 하는지 정리해봤습니다. NPU가 뭐냐면 NPU는 Neural Processing Unit의 약자입니다. AI 연산, 특히 신경망 추론에 특화된 칩이에요. CPU는 범용 연산, GPU는 병렬 처리에 강한데, NPU는 AI 추론 연산만 빠르게 처리하는 데 최적화되어 있습니다. 전력 효율도 좋아서 배터리 소모 없이 AI 기능을 백그라운드에서 계속 돌릴 수 있다는 게 핵심이에요. ...
AI 돌리려면 PC가 필요하긴 한데 로컬에서 AI 모델을 돌려보고 싶거나, 이미지 생성을 해보고 싶거나, 파인튜닝을 해보고 싶으면 결국 GPU 달린 데스크탑이 필요해집니다. 노트북으로도 가능은 하지만 한계가 금방 오거든요. 그러면 PC를 새로 장만해야 하는데, 여기서 고민이 시작됩니다. 직접 부품 골라서 조립할까, 아니면 완제품을 살까. 조립 PC 부품을 하나하나 골라서 직접 조립하는 방식입니다. 용산이나 온라인 견적 맞추는 그거요. 이게 좋은 점 GPU에 돈을 몰빵할 수 있습니다. AI 작업은 GPU가 거의 전부입니다. 조립이면 CPU는 적당한 거 쓰고, 케이스도 저렴한 걸로 하고, 아낀 돈을 GPU에 몰아넣을 수 있어요. 같은 예산이면 완제품보다 더 좋은 GPU를 끼울 수 있습니다. ...
왜 RTX 5070을 골랐나 AI 관련 작업을 하다 보면 GPU가 필수인데, RTX 4090은 너무 비싸고 RTX 4070은 VRAM이 아쉬웠습니다. 그러다 RTX 5070이 나왔길래 바로 구매해서 한 달 정도 써봤습니다. 오늘은 AI 작업 기준으로 솔직한 후기를 남겨봅니다. 기본 스펙 정리 항목 RTX 5070 VRAM 12GB GDDR7 CUDA 코어 6144개 TDP 250W 출시가 약 80만원대 AI 작업 성능 Stable Diffusion 이미지 생성 속도가 RTX 4070 대비 확실히 빨라졌습니다. 512x512 기준으로 약 30% 정도 빠른 체감입니다. 다만 VRAM 12GB라서 고해상도 이미지를 대량으로 뽑을 때는 가끔 메모리 부족이 뜹니다. ...
VRAM이 뭐야? VRAM은 Video RAM의 줄임말로, GPU(그래픽카드)에 달린 전용 메모리입니다. 컴퓨터의 일반 RAM이 CPU가 쓰는 메모리라면, VRAM은 GPU가 쓰는 메모리입니다. GPU가 작업할 때 필요한 데이터를 여기에 올려놓고 씁니다. 쉽게 비유하면 GPU = 요리사 VRAM = 조리대 일반 RAM = 냉장고 요리사(GPU)가 요리(연산)를 하려면 재료를 조리대(VRAM)에 올려놓아야 합니다. 조리대가 좁으면 재료를 다 올려놓지 못해서 냉장고(RAM)에서 왔다갔다 해야 하고, 그만큼 느려집니다. 조리대가 넓으면? 재료를 한 번에 펼쳐놓고 빠르게 요리할 수 있습니다. 게임할 때 VRAM 게임에서 VRAM은 주로 **텍스처(그래픽 데이터)**를 저장합니다. ...