AI를 좀 파다 보면 어느 순간 “TPU"라는 단어를 마주치게 됩니다. 처음엔 GPU 오타인 줄 알았어요. 진짜로. 근데 찾아보니까 Google이 AI 전용으로 만든 완전히 다른 칩이더라고요. GPU가 AI 학습의 표준처럼 쓰이고 있는데, 그러면 TPU는 대체 왜 만든 걸까? 그리고 뭐가 다를까? 오늘은 이 둘을 제대로 비교해보려고 합니다. TPU가 뭔데? TPU는 Tensor Processing Unit의 약자입니다. 이름에서 눈치채신 분도 있겠지만, “텐서” 연산에 특화된 프로세서예요. 텐서가 뭐냐면, 쉽게 말해서 AI 모델이 계산할 때 쓰는 다차원 배열(행렬) 같은 겁니다. 딥러닝에서 핵심이 되는 연산이죠. ...
노트북 포트가 왜 이렇게 부족한 건지 요즘 노트북은 점점 얇아지면서 포트가 확 줄었습니다. 예전에는 USB-A 서너 개에 HDMI, 이더넷까지 기본으로 달려 나왔는데, 요즘 울트라북은 USB-C 두 개가 전부인 경우도 많아요. 저도 카페에서 작업할 때 이걸 뼈저리게 느낍니다. 마우스 리시버 꽂고, 외장 SSD 연결하고, 충전도 해야 하는데 포트가 두 개밖에 없으니까 뭘 하나를 포기해야 하는 상황이 생기거든요. 집에서는 모니터까지 연결해야 하니까 더 난감하고요. 그래서 결국 “뭔가를 하나 사야겠다"는 결론에 도달하는데, 이때 만나는 게 USB 허브와 도킹 스테이션 두 가지입니다. 비슷해 보이는데 가격 차이는 꽤 나고, 정확히 뭐가 다른지 모르겠는 분들이 많을 겁니다. 오늘은 이 둘의 차이를 정리해보겠습니다. ...
AI 데이터, 생각보다 금방 쌓인다 AI를 조금이라도 만져본 사람이라면 알 거예요. 데이터셋이란 게 처음엔 몇 GB 정도인데, 이미지 데이터셋 한두 개 받고, 모델 체크포인트 몇 개 저장하다 보면 순식간에 수백 GB가 넘어갑니다. 솔직히 저도 처음에는 “1TB면 넉넉하겠지” 했다가 한 달 만에 고민에 빠졌거든요. 그래서 결국 내장 SSD 외에 추가 저장공간이 필요해지는데, 이때 보통 두 가지 선택지가 나옵니다. 외장 SSD를 사거나, NAS를 들이거나. 둘 다 장단점이 확실해서 “뭐가 무조건 좋다"고 말하기 어렵습니다. 자기 상황에 맞는 걸 골라야 하죠. ...
써멀 페이스트, 대충 바르면 안 되나? PC를 직접 조립해본 사람이라면 써멀 페이스트(써멀 구리스)를 한 번쯤은 만져봤을 거예요. CPU 위에 짜서 쿨러를 올리는 그 회색 물질이요. 근데 의외로 이걸 대충 처리하는 분들이 많습니다. “어차피 뭘 바르든 비슷한 거 아니야?“라고 생각하기 쉬운데, 솔직히 말하면 꽤 차이 납니다. 특히 요즘 CPU들은 전력 소모가 많아져서 발열이 장난이 아니거든요. 쿨링 솔루션 가이드에서도 얘기했지만, 아무리 좋은 쿨러를 달아도 써멀 페이스트가 엉망이면 열 전달이 제대로 안 됩니다. 쿨러와 CPU 사이의 미세한 틈을 채워주는 게 써멀 페이스트의 역할이니까요. ...
마우스 하나 바꿨을 뿐인데 컴퓨터를 쓰면서 가장 오래 손에 잡고 있는 장치가 뭔지 생각해본 적 있으세요? 키보드도 중요하지만, 사실 마우스를 만지는 시간이 훨씬 깁니다. 웹 서핑, 문서 작업, 게임까지 거의 모든 작업에서 마우스가 빠지질 않거든요. 저는 오랫동안 유선 마우스만 쓰다가 무선으로 바꿨는데, 처음에는 “선 하나 없어진 것뿐인데 뭐가 달라?“라고 생각했습니다. 근데 써보니까 생각보다 생활이 달라지더라고요. 반대로, 무선에서 유선으로 다시 돌아간 분들의 이유도 충분히 이해가 갑니다. 각각의 장단점이 확실하거든요. 유선 마우스 — 묵묵한 일꾼 유선 마우스의 가장 큰 장점은 신경 쓸 게 없다는 것입니다. USB 꽂으면 바로 작동하고, 배터리 걱정 없고, 연결이 끊길 일도 없어요. 이 “당연함"이 생각보다 큰 장점입니다. ...
PC 조립할 때 케이스는 제일 마지막에 고르는 분들이 많습니다. “어차피 부품 담는 통 아니야?“라고 생각하는 거죠. 근데 막상 조립하다 보면 케이스 때문에 고생하는 경우가 꽤 있어요. GPU가 안 들어간다거나, 선정리 공간이 없어서 내부가 엉망이 된다거나. 솔직히 말하면, 케이스는 한 번 사면 가장 오래 쓰는 부품입니다. CPU나 GPU는 몇 년이면 바꾸지만 케이스는 5년, 10년도 씁니다. 그래서 처음에 잘 골라야 해요. 폼팩터 — 메인보드 크기부터 맞춰야 한다 케이스를 고르기 전에 메인보드를 먼저 정해야 합니다. 메인보드 크기에 따라 들어가는 케이스가 달라지거든요. ...
AI 관련 커뮤니티를 돌아다니다 보면 꼭 나오는 질문이 있습니다. “GPU 하나로 부족한데, 두 개 꽂으면 두 배로 빨라지나요?” 솔직히 말하면, 맞을 때도 있고 아닐 때도 있습니다. 게임에서의 SLI 시대를 기억하는 분이라면 “그거 결국 망했잖아"라고 생각하실 수도 있는데, AI 쪽에서는 상황이 좀 다릅니다. GPU 하나로는 부족해지는 순간 VRAM이 뭔지 아시는 분이라면 감이 오실 텐데, AI 모델을 돌리려면 모델 전체를 GPU 메모리에 올려야 합니다. 문제는 모델이 점점 커진다는 거예요. 7B 파라미터 모델은 16GB VRAM이면 대충 돌아갑니다. 근데 13B? 30B? 70B? 이쯤 되면 VRAM 24GB짜리 RTX 4090 한 장으로도 감당이 안 됩니다. 모델을 양자화해서 줄이는 방법도 있긴 한데, 그러면 성능이 떨어지거든요. 이때 GPU를 여러 장 쓰면 VRAM을 합쳐서 쓸 수 있습니다. ...
게이밍 PC로 AI 돌려도 되는 거 아냐? AI 작업을 시작하려는 사람들이 가장 많이 하는 질문 중 하나가 이거입니다. “게이밍 PC 있는데 이걸로 AI 학습 돌려도 돼?” 답부터 말하면, 됩니다. 실제로 많은 사람들이 게이밍 PC로 AI 작업을 하고 있거든요. 하지만 “워크스테이션"이라고 불리는 장비가 따로 존재하는 데는 이유가 있습니다. 오늘은 이 둘의 차이가 뭔지, 어떤 상황에서 뭘 골라야 하는지 정리해봤습니다. GPU부터 다르다 가장 큰 차이는 GPU입니다. 게이밍 GPU (GeForce 시리즈) RTX 4070, RTX 5070, RTX 4090 같은 것들 게임 렌더링에 최적화 VRAM이 8~24GB 수준 가성비가 좋음 워크스테이션/서버 GPU (RTX 프로, A시리즈, H시리즈) ...
정전 한 번에 작업물이 날아간 경험 PC로 작업하다가 갑자기 전원이 나간 적 있으신가요? 저는 한번 있었는데, 진짜 멘붕이더라고요. 저장 안 한 문서는 날아가고, 하드디스크에서 이상한 소리가 나고. 그때 처음 UPS라는 걸 알게 됐습니다. 주변에서 “그냥 배터리 아니야?” 하는 반응이 대부분이었는데, 써보니까 생각보다 쓸모가 있어서 정리해봅니다. UPS가 뭐냐면 UPS는 Uninterruptible Power Supply, 한국어로 무정전전원장치입니다. 이름 그대로 전원이 끊기지 않게 해주는 장치예요. 원리는 단순합니다. 평소에는 콘센트에서 들어오는 전기를 PC에 전달하면서 동시에 내부 배터리를 충전해둡니다. 정전이 되면 배터리에서 전기를 공급해서 PC가 바로 꺼지지 않게 해주는 거예요. ...
GPU만 신경 쓰다가 메모리에서 막힌다 AI 작업할 때 GPU, GPU, GPU… 다들 그래픽카드 얘기만 하잖아요. 물론 GPU가 제일 중요하긴 합니다. 근데 실제로 작업하다 보면 메모리(RAM) 부족 때문에 막히는 경우가 생각보다 많거든요. 모델 로딩하다가 멈추거나, 데이터 전처리하다가 느려지거나, 브라우저랑 같이 쓰면 시스템이 버벅거리거나. 이런 상황을 겪어보면 “아 메모리를 좀 더 넣을 걸” 하는 생각이 듭니다. 그래서 오늘은 AI 작업 기준으로 메모리가 실제로 얼마나 필요한지 정리해봤습니다. 16GB — 가능은 하지만 빡빡하다 일반 사무용으로는 16GB면 충분합니다. 근데 AI 작업에서는 좀 부족해요. ...