로컬 AI 최적화: Ollama 모델 저장 위치 변경 및 용량 관리 가이드

Ollama 용량이 커졌을 때 먼저 나눠 볼 세 가지

로컬 환경에서 Ollama를 사용하다 보면 어느 순간 디스크 용량 경고를 마주하게 됩니다. 단순히 "용량이 부족하다"고 판단하기 전에, 우리는 관리 대상을 다음 세 가지 영역으로 나누어 살펴봐야 합니다.

모델 파일 자체 (Disk): ollama pull로 내려받은 모델 데이터입니다.

실행 중인 모델 (Memory/VRAM): 현재 추론을 위해 메모리에 올라가 있는 상태입니다.

연결 앱의 부속 데이터 (App-specific): PDF/RAG 문서 인덱스나 채팅 기록입니다.

이번 글에서는 이 중 가장 큰 비중을 차지하는 모델 파일의 저장 위치와 효율적인 관리 기준을 집중적으로 다룹니다.

삭제·이동 전 5가지 체크리스트

모델을 지우거나 옮기기 전에 아래 기준을 먼저 확인하세요.

OS별 기본 저장 위치

ollama ls 디스크 용량과 ollama ps 메모리는 다르다

많은 사용자가 혼동하는 지점은 '파일 크기'와 '실행 크기'의 차이입니다.

디스크 용량 확인: ollama ls 명령어나 /api/tags 엔드포인트를 통해 확인하는 size는 디스크에 저장된 모델 파일의 실제 크기입니다. 이는 parameter_size와 quantization_level에 의해 결정됩니다.

메모리 점유 확인: ollama ps 또는 /api/ps 엔드포인트는 현재 실행 중인 모델의 정보를 보여줍니다. 여기서의 size_vram은 모델 파일 크기뿐만 아니라 설정된 context_length에 따라 달라집니다. 문맥 길이를 크게 설정할수록 디스크 파일 크기와 무관하게 더 많은 메모리를 요구하게 됩니다.

안 쓰는 모델 삭제 기준

Gemma 3나 Qwen3처럼 동일 계열 안에서도 수많은 파라미터 사이즈와 태그(variant)가 존재합니다. 모든 모델을 보관하기보다 아래와 같은 정리 기준을 권장합니다.

주력 모델: 업무나 연구에 메인으로 사용하는 고성능 모델 (예: Qwen3-70B).

테스트 모델: 가볍게 프롬프트를 확인하는 용도의 소형 모델 (예: Gemma 3-4B).

임베딩 모델: RAG를 위해 상시 활용하는 전용 모델.

그 외에 한두 번 테스트 후 방치된 모델은 ollama rm [모델이름]으로 즉시 삭제하여 blobs 폴더의 단편화를 방지하세요.

저장 위치를 옮길 때 OLLAMA_MODELS 설정

기본 드라이브(C드라이브 등)의 용량이 부족하다면 외장 SSD나 별도 데이터 드라이브로 경로를 옮길 수 있습니다.

환경 변수 명칭: OLLAMA_MODELS

적용 방법:

Windows: 시스템 환경 변수 편집에서 새 경로를 추가합니다.

macOS/Linux: 서비스 설정 파일 또는 .zshrc, .bashrc에 export OLLAMA_MODELS=/path/to/new/folder를 추가합니다.

주의: 경로를 설정한 후 반드시 Ollama 프로세스를 완전히 종료했다가 다시 시작해야 적용됩니다. 기존 파일을 자동으로 옮겨주지 않으므로, 설정 변경 전 기존 models 폴더 내부 데이터를 새 경로로 직접 복사해 두는 것이 좋습니다.

여러 모델을 둘 때의 운영 기준

로컬 AI 서버를 운영한다면 모든 모델을 무분별하게 pull 하기보다, ollama show --modelfile을 통해 각 모델의 특성을 파악하고 필요한 사양만 유지하십시오. 특히 대규모 파라미터 모델은 디스크 점유보다 실행 시의 VRAM 부족 문제가 더 빈번하므로, 자신의 하드웨어 사양에 맞는 적정 퀀타이즈(Quantization) 모델 위주로 라이브러리를 구성하는 것이 효율적입니다.

PDF/RAG 기록은 모델 폴더와 다르다

중요한 차별점입니다. 특정 모델을 지운다고 해서 그 모델로 분석했던 PDF 인덱스나 벡터 데이터베이스가 사라지지 않습니다. 로컬 AI PDF 캐시 저장소 관리 가이드에서 설명했듯, 이러한 데이터는 별도의 앱 데이터 폴더에 저장됩니다. 완벽한 용량 확보를 위해서는 Ollama 모델 삭제와 함께 사용 중인 UI 툴(AnythingLLM, Open WebUI 등) 내의 캐시 정리도 병행해야 합니다.

5분 점검 루틴

효율적인 관리를 위해 주 1회 아래 루틴을 수행해 보세요.

FAQ

모델을 삭제했는데 왜 디스크 용량이 바로 늘어나지 않나요?

ollama rm을 실행하면 해당 모델이 참조하던 데이터 블록(blobs) 중 다른 모델과 공유되지 않는 파일들이 삭제됩니다. 만약 여러 모델이 같은 베이스 레이어를 공유하고 있다면, 해당 레이어를 사용하는 모든 모델이 지워지기 전까지는 용량이 확보되지 않을 수 있습니다.

외장 하드에 모델을 저장하면 성능이 떨어지나요?

모델을 메모리로 로드(Load)하는 속도는 드라이브의 읽기 성능에 영향을 받습니다. HDD보다는 SSD를 권장하며, 일단 메모리(VRAM)에 로드된 이후의 추론 속도는 저장 장치의 속도와 무관합니다.

ollama stop을 하지 않으면 메모리에서 영원히 내려가지 않나요?

기본적으로 마지막 요청 후 5분 동안 모델이 메모리에 유지됩니다. 이는 다음 요청 시 로딩 시간 없이 즉시 응답하기 위함입니다. 5분이 지나면 자동으로 해제되지만, 수동으로 비우고 싶다면 ollama stop [모델이름]을 입력하세요.

특정 모델의 특정 버전(태그)만 지울 수 있나요?

네, 가능합니다. ollama rm gemma3:4b와 같이 정확한 태그를 지정하면 해당 에디션만 제거됩니다.

관련 글

참고 자료

• 공식 출처 보기 → Ollama FAQ
• 공식 출처 보기 → Ollama API 문서
• 공식 출처 보기 → Ollama Embeddings 문서

실무 판단 보강: 사용 가능·보류·금지 기준

최종 판단: 로컬 AI 최적화의 핵심은 단순 추천이 아니라 실제 업무에 넣어도 되는 조건을 확인하는 것입니다. 아래 기준을 통과하면 제한적으로 사용할 수 있고, 확인되지 않은 항목이 있으면 보류하는 편이 안전합니다.

이 글을 읽어야 하는 사람

• 로컬 AI 최적화을 실제 보고서·회의록·문서 작업에 넣기 전 검증 기준이 필요한 사람
• AI 답변·요약·검색 결과를 그대로 붙여넣지 않고 출처와 조건을 확인해야 하는 실무자
• 고객정보, 내부자료, 미공개 일정처럼 입력 금지 또는 마스킹이 필요한 자료를 다루는 사람

판단	기준
사용 가능	저장 위치, 네트워크 연결, 모델 파일, 로그 경로, 입력 데이터 삭제 경로를 확인한 뒤 개인·테스트 범위에서 사용 가능
조건부 사용	회사 문서를 넣어야 한다면 문서 등급 분류와 로컬 저장 정책을 확인한 뒤 조건부 사용
보류	설치 경로, 플러그인, 외부 전송 여부, 백업 위치가 불명확하면 업무 적용 보류
금지	비공개 소스코드·고객정보·인증키를 검증되지 않은 에이전트나 확장 기능에 입력하는 것은 금지

실제 업무 시나리오

로컬 AI 최적화를 설치한 뒤 샘플 문서 하나로 저장 위치와 로그 생성 여부를 확인하고, 실제 업무 문서는 그 다음 단계에서만 투입한다.

실패 또는 사고 가능성

로컬 실행이라고 해도 플러그인, 원격 모델 호출, 로그·캐시·동기화 폴더를 통해 데이터가 남거나 외부로 나갈 수 있다.

운영자 판단

무료 테스트나 개인 실험은 가능하더라도, 팀 업무·고객정보·비용이 연결되는 순간에는 권한, 로그, 백업, 삭제 경로, 책임자를 먼저 확인해야 합니다. 이 조건을 확인하지 못하면 도입을 미루는 편이 안전합니다.

출처와 마지막 확인일

• 마지막 확인일: 2026-06-08 KST
• docs.ollama.com
• docs.ollama.com
• docs.ollama.com

이 글의 한계

이 글은 공개 문서와 현재 본문 기준의 실무 판단 가이드입니다. 요금제, 베타 기능, 보안 정책, 지원 지역, 하드웨어 스펙은 바뀔 수 있으므로 계약·구매·보안 정책 결정 전에는 최신 공식 문서를 다시 확인해야 합니다.

관련 글

• 로컬 AI 보안 체크리스트: 업무 문서를 넣기 전 확인할 7가지
• LM Studio와 Ollama 차이: 로컬 AI 입문자가 먼저 볼 기준

이 글은 AI 초안과 자동화 수집 자료를 바탕으로 작성했으며, 운영자가 공식 출처·수치·적용 조건을 확인한 뒤 게시했습니다. 정책, 요금제, 기능은 변경될 수 있으므로 중요한 업무 결정 전에는 원문을 함께 확인하세요.