로컬 LLM, 노트북 램 예산으로 후보 고르기

내 노트북 램에는 어떤 로컬 모델이 맞을까요? 이 글의 예산 가정에서 8GB 기기는 비교한 Qwen3-8B의 Q4_K_M~Q8_0이 가중치만으로도 예산을 넘고, 16GB·32GB 기기는 네 종류 모두 가중치 기준 후보입니다. 다만 후보라는 판단은 실행 보장이 아니며, 실제 실행 여부는 설정한 컨텍스트의 KV 캐시와 추가 버퍼까지 확인해야 합니다.

왜 지금인가

지난 호 「로컬 LLM 시대, 내 컴퓨터가 AI가 된다」는 개념과 전망을 다뤘습니다. 이번 글은 설명을 반복하지 않고 “내 메모리 예산으로 무엇부터 시험할 것인가”를 계산합니다. Qwen3.5 Small이 2026년 3월 2일 공개됐지만, 여기서는 파일 크기가 확인된 Qwen3 세대의 계산 예시를 사용합니다(Qwen 공식 공개 이력, 2026). 모델이 바뀌어도 후보 선별과 실행 확인을 나누는 방법은 그대로 쓸 수 있습니다.

전체 램에서 운영체제·브라우저·편집기 몫을 빼면 모델에 배정할 예산이 나옵니다. 여기서는 그 몫을 4~6GB로 가정하지만, 공식 권장값은 아닙니다. 실제로는 평소 쓰는 앱을 켠 상태에서 작업 관리자나 활동 상태 보기로 확인하시기 바랍니다.

모델 예산 = 전체 램 − 운영체제·앱 사용량
파일 크기 비교는 후보 선별이며, 실행 확인에는 KV 캐시와 추가 버퍼가 필요합니다.

램 용량별 모델 예산과 가중치 기준 후보

메모리 표는 모두 십진 GB로 계산합니다. GB는 10⁹바이트, GiB는 2³⁰바이트이므로, 도구가 GiB로 표시하면 바이트로 환산한 뒤 GB로 통일해야 합니다. 아래 전체 램은 제품명에 적힌 용량이 아니라 해당 GB 값으로 환산한 계산 예시입니다.

8GB 행의 판단은 이 글에서 비교한 양자화와 예산 가정에만 적용됩니다. 표에 없는 더 작은 양자화까지 제외하거나 Qwen3-8B 전체가 실행 불가능하다고 판단하지는 않습니다. 대안도 파일 크기를 먼저 확인해야 합니다.

출처: Ollama qwen3:4b 라이브러리. 예산 비교는 필자 계산입니다.

숫자로 보는 현황

LLM의 실행 메모리는 가중치 + KV 캐시 + 추가 버퍼로 나눠 봅니다. KV 캐시는 이미 읽은 토큰의 계산 결과를 보관하는 공간이고, 추가 버퍼는 추론 과정에서 쓰는 작업 공간입니다. 먼저 공식 배포 파일 크기로 후보를 좁히겠습니다.

표 1. Qwen3-8B 양자화별 파일 크기

단위: 십진 GB. Hugging Face와 Ollama는 서로 다른 배포 파일의 표기이므로 크기가 다를 수 있습니다. 계산에는 모델 카드 값을 사용합니다. Q5_0(5.72GB)도 공표되어 있지만, 네 단계로 비교하는 필자 기준에 따라 제외했습니다.

단계별 증가폭은 0.82GB, 0.88GB, 1.98GB입니다. 양자화를 한 단계 올리는 메모리 비용이 일정하지 않으며, 특히 마지막 구간의 증가폭이 큽니다. 다만 이 표는 파일 크기 비교이므로 답변 품질이나 생성 속도의 순위로 읽어서는 안 됩니다.

그림 1. 전체 램 용량별 모델 메모리 예산

운영체제·앱에 4~6GB를 배정하면 모델 예산은 각각 2~4GB, 10~12GB, 26~28GB이며, 실제 실행에는 KV 캐시와 추가 버퍼도 고려해야 합니다.

단위: GB. 출처: 본문 「램 용량별 모델 예산과 가중치 기준 후보」의 계산 예시.

로컬 AI 모델 고르기: 파일 다음은 실행 메모리입니다

컨텍스트가 예산을 바꾸는 이유

단일 시퀀스의 일반적인 전체 어텐션 KV 캐시는 2(K·V) × 레이어 수 × KV 헤드 수 × 헤드 차원 × 원소당 바이트 × 토큰 수로 계산합니다. Qwen3-8B 공식 config의 레이어 32개, KV 헤드 8개, 헤드 차원 128을 적용하면 FP16의 토큰당 저장량은 131,072바이트입니다. 다음 값은 원소 저장량의 이론값이며, 실제 할당량에는 구현별 정렬·관리 오버헤드와 병렬 요청 수가 반영됩니다.

출처: Qwen3-8B 공식 config를 이용한 필자 계산. 단일 시퀀스 기준입니다.

8비트 캐시는 FP16보다 원소 저장량이 절반이므로, 실제 메모리는 약 절반으로 줄어드는 방향을 기대할 수 있지만 정확한 할당량은 구현에 따라 달라집니다. 모델 카드의 네이티브 컨텍스트는 32,768토큰이며, YaRN을 설정하면 131,072토큰까지 확장합니다. 이는 config의 max_position_embeddings 값과 구분해야 하며, 공식 안내는 YaRN이 짧은 컨텍스트의 성능을 떨어뜨릴 수 있다고 덧붙입니다(Qwen 모델 카드, 2025).

CPU·외장 GPU·통합 메모리의 차이

GPU 없는 노트북은 시스템 램을 기준으로 계산합니다. 외장 GPU에서는 완전 GPU 적재가 일반적으로 유리하지만, 속도는 하드웨어와 배치에 따라 달라집니다. 일부 레이어를 GPU에 올리는 오프로딩은 배치를 나누는 방법이지, 부족한 전체 메모리를 없애는 방법은 아닙니다.

파일 크기를 뺀 단순 계산입니다. 화면 출력, KV 캐시, 추가 버퍼는 제외했으므로 실행 가능 판정이 아닙니다.

애플 실리콘은 CPU와 GPU가 통합 메모리를 공유하므로 별도 VRAM 용량만으로 판단하지 않습니다. 대신 운영체제와 앱도 같은 메모리를 사용하며, 실행 도구의 할당 제한도 확인해야 합니다. 통합 메모리라는 이유만으로 모델 실행이 보장되지는 않습니다.

설치 용량과 동시 상주량은 다릅니다

여러 모델을 내려받으면 디스크 사용량이 늘지만, 실행 메모리는 동시에 상주하는 모델과 캐시를 기준으로 봅니다. Continue에 연결한 모델 개수만큼 파일 크기를 무조건 램에서 빼는 계산은 맞지 않습니다. 같은 모델을 여러 역할에 연결해도 요청 병렬성에 따라 캐시 사용량이 달라질 수 있으므로 실제 상주 상태를 확인해야 합니다.

현장의 변화

Ollama는 설치와 실행 상태를 나눠 확인하게 합니다. 입문자는 ollama run qwen3:8b로 모델을 받아 대화를 시작할 수 있습니다. 공식 라이브러리의 해당 배포는 8.19B·Q4_K_M이며, ollama list는 설치 파일 확인에, ollama ps는 실행 중 모델과 CPU·GPU 배치 확인에 사용합니다. 다만 배치 표시만으로 전체 메모리 사용량이나 속도를 알 수는 없어 운영체제의 측정값도 함께 기록해야 합니다(Ollama 공식 문서).

LM Studio는 배치와 컨텍스트를 별도로 조절합니다. 공식 CLI의 lms load에는 GPU 배치를 정하는 --gpu와 컨텍스트를 정하는 --context-length가 있습니다. 전자는 가중치의 위치를, 후자는 KV 캐시 예산을 바꾸므로 한 번에 하나씩 조절해야 원인을 구분할 수 있습니다. 설정 기능이 있다는 사실과 특정 노트북에서 원활하게 실행된다는 결과는 별개입니다(LM Studio 공식 문서).

Continue는 편집기 작업과 로컬 모델을 연결합니다. 공식 가이드는 config.yaml에서 provider: ollama, 모델 이름, roles를 지정하도록 안내합니다. 채팅·편집 역할을 연결한 뒤에는 연결 수보다 동시 상주 모델과 요청별 캐시를 살펴야 합니다. 다음 비교표는 측정 결과가 아니라, 독자가 같은 조건으로 시험할 때 사용할 기록 항목입니다(Continue 공식 가이드).

시사점: 우리가 갖춰야 할 것

• 실제 예산부터 적습니다. 평소 앱을 켠 상태의 사용량을 확인하고 단위를 통일합니다. 필자의 운영체제 예산 가정보다 자신의 측정값을 우선합니다.
• 파일로 후보를 좁히고 실행으로 확인합니다. 배포처와 양자화를 함께 기록합니다. 후보가 되더라도 컨텍스트별 캐시와 추가 버퍼를 포함해 시험합니다.
• 같은 입력과 설정으로 비교합니다. 프롬프트뿐 아니라 입력 코드·문서도 같게 유지합니다. 속도에는 하드웨어와 도구 버전을 붙이고, 답변은 테스트나 원문 대조로 검산합니다.
• 막히면 하나씩 바꿉니다. 컨텍스트, 양자화, GPU 배치를 각각 조절합니다. 상주 메모리와 오류를 함께 남겨 어떤 변경이 효과가 있었는지 확인합니다.

맺음말

로컬 모델 선택은 파일 크기로 후보를 선별하고, 실제 실행으로 검증하는 과정입니다. 가중치를 뺀 잔여량만으로 실행을 보장할 수는 없습니다. 오늘은 설치 크기와 실행 중 상주 메모리를 나란히 기록하고, 같은 프롬프트로 자신의 노트북에 맞는 후보를 확인해 보시기 바랍니다.

참고 자료

• Qwen, 「Qwen3-8B-GGUF 모델 카드」, 2025 — https://huggingface.co/Qwen/Qwen3-8B-GGUF
• Qwen, 「Qwen3-8B 모델 카드·config」, 2025 — https://huggingface.co/Qwen/Qwen3-8B / https://huggingface.co/Qwen/Qwen3-8B/blob/main/config.json
• Qwen, 공식 저장소 공개 이력, 2026-03-02 — Qwen3.5 Small 공개 기록
• Ollama, 「qwen3:8b·qwen3:4b 라이브러리」·「FAQ」 — https://ollama.com/library/qwen3:8b / https://ollama.com/library/qwen3:4b / https://docs.ollama.com/faq
• LM Studio, 「CLI: lms load」 — https://lmstudio.ai/docs/cli/load
• Continue, 「Ollama 가이드」 — https://docs.continue.dev/guides/ollama-guide

테크창 연구팀