회의록, 아직도 손으로 쓰고 있나요 회의가 끝나고 나면 항상 같은 상황이 반복되잖아요. “아까 그 얘기 누가 했더라?” “결론이 뭐였지?” 회의 중에 열심히 메모한다고 해도, 놓치는 내용이 꼭 생기더라고요. 특히 회의가 길어지면 집중력이 떨어지면서 핵심 내용을 놓치는 경우가 많고요. 그래서 요즘은 AI가 회의록을 대신 써주는 도구들이 꽤 주목받고 있어요. 녹음만 돌려놓으면 알아서 텍스트로 변환해주고, 요약까지 해주니까요. 솔직히 처음엔 “이걸 AI한테 맡겨도 되나?” 싶었는데, 써보니까 생각보다 쓸 만합니다. AI가 일상에서 활용되는 범위가 정말 빠르게 넓어지고 있다는 걸 체감하게 되더라고요. ...
AI를 좀 파다 보면 어느 순간 “TPU"라는 단어를 마주치게 됩니다. 처음엔 GPU 오타인 줄 알았어요. 진짜로. 근데 찾아보니까 Google이 AI 전용으로 만든 완전히 다른 칩이더라고요. GPU가 AI 학습의 표준처럼 쓰이고 있는데, 그러면 TPU는 대체 왜 만든 걸까? 그리고 뭐가 다를까? 오늘은 이 둘을 제대로 비교해보려고 합니다. TPU가 뭔데? TPU는 Tensor Processing Unit의 약자입니다. 이름에서 눈치채신 분도 있겠지만, “텐서” 연산에 특화된 프로세서예요. 텐서가 뭐냐면, 쉽게 말해서 AI 모델이 계산할 때 쓰는 다차원 배열(행렬) 같은 겁니다. 딥러닝에서 핵심이 되는 연산이죠. ...
AI 데이터, 생각보다 금방 쌓인다 AI를 조금이라도 만져본 사람이라면 알 거예요. 데이터셋이란 게 처음엔 몇 GB 정도인데, 이미지 데이터셋 한두 개 받고, 모델 체크포인트 몇 개 저장하다 보면 순식간에 수백 GB가 넘어갑니다. 솔직히 저도 처음에는 “1TB면 넉넉하겠지” 했다가 한 달 만에 고민에 빠졌거든요. 그래서 결국 내장 SSD 외에 추가 저장공간이 필요해지는데, 이때 보통 두 가지 선택지가 나옵니다. 외장 SSD를 사거나, NAS를 들이거나. 둘 다 장단점이 확실해서 “뭐가 무조건 좋다"고 말하기 어렵습니다. 자기 상황에 맞는 걸 골라야 하죠. ...
예전에 AI 하려면 리눅스를 써야 하냐는 글을 쓴 적이 있는데, 그때 결론이 “본격적으로 하면 리눅스가 편해지는 시점이 온다"였습니다. 그 시점이 오면 어떻게 해야 하느냐. 컴퓨터를 포맷하고 우분투를 깔 필요까지는 없습니다. 윈도우 안에서 리눅스를 돌릴 수 있는 WSL2라는 물건이 있기 때문입니다. 이 글은 “WSL2가 뭔지는 대충 들어봤는데 실제로 세팅하면 뭘 얻는 건지, 어떻게 하는 건지 모르겠다"는 사람을 위한 글입니다. 그냥 따라 치면 끝나도록 정리했습니다. WSL2가 해결해주는 문제 윈도우에서 AI 작업을 하다 보면 부딪히는 벽이 몇 개 있습니다. ...
AI 관련 커뮤니티를 돌아다니다 보면 꼭 나오는 질문이 있습니다. “GPU 하나로 부족한데, 두 개 꽂으면 두 배로 빨라지나요?” 솔직히 말하면, 맞을 때도 있고 아닐 때도 있습니다. 게임에서의 SLI 시대를 기억하는 분이라면 “그거 결국 망했잖아"라고 생각하실 수도 있는데, AI 쪽에서는 상황이 좀 다릅니다. GPU 하나로는 부족해지는 순간 VRAM이 뭔지 아시는 분이라면 감이 오실 텐데, AI 모델을 돌리려면 모델 전체를 GPU 메모리에 올려야 합니다. 문제는 모델이 점점 커진다는 거예요. 7B 파라미터 모델은 16GB VRAM이면 대충 돌아갑니다. 근데 13B? 30B? 70B? 이쯤 되면 VRAM 24GB짜리 RTX 4090 한 장으로도 감당이 안 됩니다. 모델을 양자화해서 줄이는 방법도 있긴 한데, 그러면 성능이 떨어지거든요. 이때 GPU를 여러 장 쓰면 VRAM을 합쳐서 쓸 수 있습니다. ...
요즘 뉴스를 보면 해킹 사건이 정말 자주 나옵니다. 대기업 고객 정보 유출, 랜섬웨어로 병원 시스템 마비, 정부 기관 해킹… 그런데 최근 이런 공격들의 뒤에 AI가 있다는 얘기가 점점 많아지고 있어요. 동시에 방어하는 쪽에서도 AI를 적극적으로 쓰고 있고요. 솔직히 말하면, 지금 사이버보안 분야는 AI 없이는 돌아가지 않는 수준에 와 있습니다. AI가 해킹을 더 쉽게 만들고 있다 불편한 진실부터 말하겠습니다. AI 때문에 해킹의 진입 장벽이 확 낮아졌어요. 예전에는 피싱 메일 하나 보내려 해도 대상 국가의 언어를 잘 알아야 했습니다. 어색한 한국어로 된 메일은 바로 티가 났거든요. 근데 ChatGPT 같은 AI 챗봇이 나온 이후로 상황이 달라졌습니다. 완벽한 한국어로 된 피싱 메일을 누구나 만들 수 있게 됐어요. 받는 사람 입장에서는 진짜 메일인지 가짜인지 구분하기가 훨씬 어려워졌죠. ...
게이밍 PC로 AI 돌려도 되는 거 아냐? AI 작업을 시작하려는 사람들이 가장 많이 하는 질문 중 하나가 이거입니다. “게이밍 PC 있는데 이걸로 AI 학습 돌려도 돼?” 답부터 말하면, 됩니다. 실제로 많은 사람들이 게이밍 PC로 AI 작업을 하고 있거든요. 하지만 “워크스테이션"이라고 불리는 장비가 따로 존재하는 데는 이유가 있습니다. 오늘은 이 둘의 차이가 뭔지, 어떤 상황에서 뭘 골라야 하는지 정리해봤습니다. GPU부터 다르다 가장 큰 차이는 GPU입니다. 게이밍 GPU (GeForce 시리즈) RTX 4070, RTX 5070, RTX 4090 같은 것들 게임 렌더링에 최적화 VRAM이 8~24GB 수준 가성비가 좋음 워크스테이션/서버 GPU (RTX 프로, A시리즈, H시리즈) ...
번역기 하나면 충분하다고 생각했는데 예전에는 번역기라고 하면 구글 번역 하나로 다 해결했잖아요. 근데 요즘은 DeepL이 좋다는 말도 많고, 한국어 번역은 Papago가 낫다는 의견도 있고, AI 번역의 품질이 전체적으로 확 올라가면서 뭘 써야 할지 오히려 헷갈리는 상황이 됐습니다. 그래서 직접 써보면서 비교해봤어요. 어떤 상황에서 어떤 번역기가 나은지 정리해봅니다. Google 번역 — 범용성 하나는 최고 구글 번역은 아마 전 세계에서 가장 많이 쓰이는 번역기일 겁니다. 지원 언어가 130개 이상이고, 브라우저 자동 번역, 카메라 번역, 오프라인 번역까지 되니까요. ...
GPU만 신경 쓰다가 메모리에서 막힌다 AI 작업할 때 GPU, GPU, GPU… 다들 그래픽카드 얘기만 하잖아요. 물론 GPU가 제일 중요하긴 합니다. 근데 실제로 작업하다 보면 메모리(RAM) 부족 때문에 막히는 경우가 생각보다 많거든요. 모델 로딩하다가 멈추거나, 데이터 전처리하다가 느려지거나, 브라우저랑 같이 쓰면 시스템이 버벅거리거나. 이런 상황을 겪어보면 “아 메모리를 좀 더 넣을 걸” 하는 생각이 듭니다. 그래서 오늘은 AI 작업 기준으로 메모리가 실제로 얼마나 필요한지 정리해봤습니다. 16GB — 가능은 하지만 빡빡하다 일반 사무용으로는 16GB면 충분합니다. 근데 AI 작업에서는 좀 부족해요. ...
GPU만 중요하다고 생각했는데 AI 작업한다고 하면 다들 GPU 이야기만 합니다. VRAM 몇 GB냐, RTX 몇 번이냐. 근데 솔직히 CPU를 완전히 무시하다가 낭패 보는 경우가 꽤 있어요. 제가 그랬습니다. GPU 좋은 거 쓰면 다 해결되겠지 싶었는데, 막상 써보니 데이터 전처리나 모델 로딩 속도에서 CPU 성능 차이가 눈에 띄더라고요. 오늘은 AI 작업에서 CPU가 실제로 어떤 역할을 하는지, 어떤 걸 골라야 하는지 정리해봤습니다. AI 작업에서 CPU가 하는 일 GPU가 연산의 핵심인 건 맞습니다. 행렬 연산, 병렬 처리 — 이건 GPU가 압도적이에요. 근데 CPU가 완전히 빠지는 건 아닙니다. ...