GPU만 신경 쓰다가 메모리에서 막힌다

AI 작업할 때 GPU, GPU, GPU… 다들 그래픽카드 얘기만 하잖아요. 물론 GPU가 제일 중요하긴 합니다. 근데 실제로 작업하다 보면 메모리(RAM) 부족 때문에 막히는 경우가 생각보다 많거든요.

모델 로딩하다가 멈추거나, 데이터 전처리하다가 느려지거나, 브라우저랑 같이 쓰면 시스템이 버벅거리거나. 이런 상황을 겪어보면 “아 메모리를 좀 더 넣을 걸” 하는 생각이 듭니다.

그래서 오늘은 AI 작업 기준으로 메모리가 실제로 얼마나 필요한지 정리해봤습니다.

16GB — 가능은 하지만 빡빡하다

일반 사무용으로는 16GB면 충분합니다. 근데 AI 작업에서는 좀 부족해요.

16GB로 할 수 있는 것:

  • ChatGPT, Claude 같은 웹 기반 AI 서비스 사용
  • 간단한 Python 스크립트 실행
  • 작은 데이터셋으로 기초적인 머신러닝 학습
  • Stable Diffusion으로 이미지 생성 (512x512 정도)

문제는 이것저것 동시에 돌릴 때 생깁니다. 코드 에디터 + 브라우저 + 모델 돌리기를 동시에 하면 메모리가 꽉 차요. 스왑(디스크를 메모리처럼 사용)이 걸리면서 모든 게 느려집니다.

AI에 “입문"하는 수준이라면 16GB로 시작은 가능하지만, 진지하게 할 거라면 금방 부족함을 느낄 겁니다.

32GB — 대부분의 AI 작업에 적당하다

개인적으로 AI 작업용 PC라면 32GB가 기본이라고 봅니다.

32GB로 할 수 있는 것:

  • 로컬 LLM 실행 (7B~13B 파라미터 모델)
  • Stable Diffusion으로 고해상도 이미지 생성
  • 중간 규모 데이터셋 전처리
  • Jupyter Notebook + 모델 학습 동시 진행
  • 여러 개발 도구를 띄워놓고 작업

로컬에서 LLM을 돌릴 때 모델 자체는 GPU VRAM에 올라가지만, 모델 로딩 과정이나 텍스트 처리는 시스템 RAM을 씁니다. 7B 모델 정도는 32GB면 여유 있게 돌아가요.

Stable Diffusion도 32GB면 1024x1024 이미지 생성이 무리 없고, 여러 장을 배치로 돌리는 것도 가능합니다.

가성비를 생각하면 32GB가 가장 합리적인 선택이에요.

64GB — 본격적으로 할 거라면

64GB는 확실히 여유가 생깁니다. AI 작업을 업무 수준으로 하거나, 큰 모델을 다루거나, 데이터가 클 때 필요해요.

64GB가 필요한 경우:

  • 대형 LLM 로컬 실행 (30B+ 파라미터)
  • 대규모 데이터셋 전처리 (수십 GB 데이터)
  • 여러 모델을 동시에 실험
  • Docker 컨테이너 여러 개 + 모델 동시 실행
  • AI 개발 + 영상 편집 등 멀티태스킹

특히 데이터 전처리가 중요한 작업이라면 64GB가 체감 차이가 큽니다. pandas로 큰 CSV 파일 다룰 때 메모리에 통째로 올려놓고 작업하면 속도 차이가 확실하거든요.

다만 일반적인 AI 취미 활동이나 학습 목적이라면 64GB까지는 필요 없을 수도 있습니다.

128GB 이상은?

128GB는 서버급이거나 아주 특수한 경우입니다.

  • GPU VRAM이 부족할 때 시스템 RAM에 모델 일부를 오프로드하는 경우
  • 70B+ 모델을 CPU 추론으로 돌리는 경우
  • 연구/업무용 워크스테이션

일반 사용자는 거의 필요 없다고 보면 됩니다.

메모리 말고 같이 봐야 할 것들

메모리 용량만 보면 안 되고, 몇 가지 더 확인할 게 있습니다.

메모리 속도: DDR5-4800이랑 DDR5-6000은 대용량 데이터 처리할 때 체감 차이가 있습니다. AI 작업에서는 메모리 대역폭이 넓을수록 유리해요. DDR4 vs DDR5 비교에서 세대별 차이와 선택 기준을 정리해뒀습니다.

듀얼 채널: 같은 32GB라도 16GB x 2가 32GB x 1보다 빠릅니다. 메모리는 반드시 2장으로 듀얼 채널 구성하세요.

GPU VRAM과의 관계: 시스템 RAM이 아무리 많아도 GPU VRAM이 부족하면 AI 학습 속도는 느립니다. 둘 다 균형 있게 갖추는 게 중요해요. GPU VRAM이 AI 작업에서 어떤 역할을 하는지 따로 정리해뒀습니다.

확장 가능성: 지금 32GB를 사고, 나중에 64GB로 늘릴 생각이라면 메인보드의 메모리 슬롯 수를 확인하세요. 2슬롯 보드에 16GB x 2를 넣으면 확장하려면 다 빼고 새로 사야 합니다.

정리하면

용도권장 메모리
웹 기반 AI 서비스만 사용16GB
로컬 LLM, 이미지 생성, 학습 입문32GB
대형 모델, 대용량 데이터, 본격 개발64GB
서버/워크스테이션급128GB+

결론은, AI 작업용 PC를 새로 맞추거나 업그레이드한다면 32GB를 기본으로 잡고, 예산이 되면 64GB로 가는 게 가장 현실적입니다. 16GB는 AI 작업에는 좀 부족하고, 128GB는 대부분 과합니다.

메모리는 나중에 추가하기 비교적 쉬운 부품이니까, 지금 32GB로 시작하고 필요할 때 늘리는 전략도 괜찮습니다. 단, 슬롯 여유는 남겨두세요. 메인보드 슬롯 수와 확장성 확인하는 법도 같이 체크해두시면 좋습니다.