AI를 좀 파다 보면 어느 순간 “TPU"라는 단어를 마주치게 됩니다. 처음엔 GPU 오타인 줄 알았어요. 진짜로. 근데 찾아보니까 Google이 AI 전용으로 만든 완전히 다른 칩이더라고요. GPU가 AI 학습의 표준처럼 쓰이고 있는데, 그러면 TPU는 대체 왜 만든 걸까? 그리고 뭐가 다를까? 오늘은 이 둘을 제대로 비교해보려고 합니다. TPU가 뭔데? TPU는 Tensor Processing Unit의 약자입니다. 이름에서 눈치채신 분도 있겠지만, “텐서” 연산에 특화된 프로세서예요. 텐서가 뭐냐면, 쉽게 말해서 AI 모델이 계산할 때 쓰는 다차원 배열(행렬) 같은 겁니다. 딥러닝에서 핵심이 되는 연산이죠. ...
AI 데이터, 생각보다 금방 쌓인다 AI를 조금이라도 만져본 사람이라면 알 거예요. 데이터셋이란 게 처음엔 몇 GB 정도인데, 이미지 데이터셋 한두 개 받고, 모델 체크포인트 몇 개 저장하다 보면 순식간에 수백 GB가 넘어갑니다. 솔직히 저도 처음에는 “1TB면 넉넉하겠지” 했다가 한 달 만에 고민에 빠졌거든요. 그래서 결국 내장 SSD 외에 추가 저장공간이 필요해지는데, 이때 보통 두 가지 선택지가 나옵니다. 외장 SSD를 사거나, NAS를 들이거나. 둘 다 장단점이 확실해서 “뭐가 무조건 좋다"고 말하기 어렵습니다. 자기 상황에 맞는 걸 골라야 하죠. ...
GPU만 신경 쓰다가 메모리에서 막힌다 AI 작업할 때 GPU, GPU, GPU… 다들 그래픽카드 얘기만 하잖아요. 물론 GPU가 제일 중요하긴 합니다. 근데 실제로 작업하다 보면 메모리(RAM) 부족 때문에 막히는 경우가 생각보다 많거든요. 모델 로딩하다가 멈추거나, 데이터 전처리하다가 느려지거나, 브라우저랑 같이 쓰면 시스템이 버벅거리거나. 이런 상황을 겪어보면 “아 메모리를 좀 더 넣을 걸” 하는 생각이 듭니다. 그래서 오늘은 AI 작업 기준으로 메모리가 실제로 얼마나 필요한지 정리해봤습니다. 16GB — 가능은 하지만 빡빡하다 일반 사무용으로는 16GB면 충분합니다. 근데 AI 작업에서는 좀 부족해요. ...