GPU만 중요하다고 생각했는데
AI 작업한다고 하면 다들 GPU 이야기만 합니다. VRAM 몇 GB냐, RTX 몇 번이냐. 근데 솔직히 CPU를 완전히 무시하다가 낭패 보는 경우가 꽤 있어요.
제가 그랬습니다. GPU 좋은 거 쓰면 다 해결되겠지 싶었는데, 막상 써보니 데이터 전처리나 모델 로딩 속도에서 CPU 성능 차이가 눈에 띄더라고요.
오늘은 AI 작업에서 CPU가 실제로 어떤 역할을 하는지, 어떤 걸 골라야 하는지 정리해봤습니다.
AI 작업에서 CPU가 하는 일
GPU가 연산의 핵심인 건 맞습니다. 행렬 연산, 병렬 처리 — 이건 GPU가 압도적이에요. 근데 CPU가 완전히 빠지는 건 아닙니다.
데이터 전처리가 대표적입니다. 이미지 수천 장을 불러오고, 리사이즈하고, 텐서로 변환하는 과정 — 이게 CPU 몫이거든요. CPU가 느리면 GPU가 놀면서 기다리는 상황이 생깁니다. 학습 속도 병목이 GPU가 아니라 CPU에서 걸리는 거죠. GPU VRAM과 AI 작업의 관계도 함께 보면 CPU/GPU 역할 분담이 더 잘 이해됩니다.
모델 로딩도 마찬가지입니다. 수십 GB짜리 모델을 디스크에서 메모리로 읽어오는 속도, 이걸 GPU 메모리로 옮기는 속도 — CPU와 메모리 대역폭에 달려 있어요.
**추론(Inference)**은 조금 다릅니다. 가벼운 모델이나 배치 크기가 작은 경우엔 CPU만으로도 돌아가는 것들이 있어요. 특히 요즘 경량화된 로컬 LLM들은 CPU 성능을 꽤 타거든요.
Intel vs AMD, AI 작업 기준으로 보면
AMD Ryzen
요즘 AI 작업 커뮤니티에서 더 많이 보이는 쪽입니다.
코어 수 대비 가격이 좋아서 전처리 같은 멀티스레드 작업에 유리해요. Ryzen 9 시리즈는 코어 수가 넉넉해서 데이터 로더를 여러 개 돌릴 때 체감이 납니다.
PCIe 레인 수도 중요한데, AMD 플랫폼은 GPU 여러 장 연결하거나 NVMe 여러 개 달 때 유연하게 쓸 수 있어서 좋습니다.
Intel Core Ultra
최근 세대에 NPU(Neural Processing Unit)가 들어간 게 특징입니다. AI 추론 특화 연산을 CPU 안에서 처리할 수 있어요. 로컬 AI 툴들이 점점 NPU를 활용하는 방향으로 가고 있어서, 앞으로는 이 부분이 더 의미있어질 것 같습니다. Copilot+ PC와 NPU에 대한 자세한 설명에서 실제 활용 사례를 볼 수 있습니다.
싱글코어 성능은 여전히 Intel이 강한 편이라, AI 외에 일반 작업도 많이 하는 분들한테는 체감이 좋을 수 있어요.
실제로 어떤 걸 고르면 될까
용도에 따라 갈립니다.
로컬 LLM, 이미지 생성 같은 개인 AI 작업이 주라면 AMD Ryzen 쪽이 코어 수 대비 효율이 좋습니다. 멀티스레드 활용도가 높은 작업들이라서요.
가벼운 AI 툴 + 일반 업무 병행이라면 Intel Core Ultra도 좋은 선택입니다. NPU 덕분에 가벼운 AI 추론이 생각보다 빠르게 처리돼요. Copilot 같은 온디바이스 AI 기능들도 잘 작동하고요.
딥러닝 학습을 진지하게 한다면 CPU보다는 GPU에 예산을 집중하되, CPU는 코어 수 많은 걸로 받쳐주는 게 맞습니다.
코어 수 vs 클럭, 뭐가 더 중요할까
AI 작업만 놓고 보면 코어 수가 유리합니다. 데이터 전처리, 멀티프로세스 데이터 로더 — 이런 건 코어 많을수록 좋거든요.
반면 싱글스레드 위주 작업이나 일반 사용이 많다면 클럭이 높은 게 체감이 더 나을 수 있어요.
둘 다 잡은 최신 고급형 CPU들이 있긴 한데, 가격이 올라가니까 본인 작업 비중을 보고 결정하는 게 맞습니다.
마치며
GPU가 AI 작업의 핵심인 건 맞는데, CPU를 완전히 무시하면 생각지 못한 곳에서 병목이 걸립니다. 특히 데이터 전처리 많은 작업이나 로컬 LLM 돌릴 때는 CPU 성능이 체감으로 납니다.
예산이 빠듯하다면 GPU에 집중하되, CPU는 최소한 코어 수 넉넉한 걸로 받쳐주는 게 후회 없는 선택이에요. CPU를 받쳐줄 AI 작업용 메모리 선택 기준도 함께 확인해보세요.