로컬 AI의 가장 큰 장점은 인터넷 연결 없이 기기 내부에서 데이터를 처리한다는 점입니다. 이 때문에 많은 실무자가 회사 보안 문서나 PDF를 안심하고 로컬 AI에 연동해 사용합니다.
하지만 “클라우드로 전송되지 않는다”는 것이 “기록이 전혀 남지 않는다”는 의미는 아닙니다. 문서를 AI가 읽을 수 있는 형태로 변환하고, 검색하고, 대화하는 과정에서 내 PC 내부의 여러 경로에 데이터가 생성되고 저장됩니다.
이 글에서는 로컬 AI에 PDF를 연동할 때 데이터가 어떤 형태로 어디에 저장되는지 점검하고, 문서를 안전하게 관리하고 삭제하는 방법을 정리했습니다.
로컬 AI의 인터넷 연결과 서버 노출까지 함께 점검하려면 로컬 AI 인터넷 연결 및 보안 설정 가이드를 함께 보는 것이 좋습니다.
로컬 AI가 문서를 저장하는 5가지 지점
앱에 PDF를 넣기 전, 아래 5가지 저장 지점을 인지하고 있어야 합니다.
앱이 원본 파일을 자체 폴더로 복사하는지, 기존 폴더 경로만 참조하는지 확인합니다.
AI가 읽기 위해 PDF에서 텍스트를 추출해 나눈 텍스트 조각(Chunk) 파일의 위치입니다.
텍스트를 검색용 숫자 벡터로 변환한 데이터입니다. 벡터 DB나 컬렉션 폴더에 남습니다.
문서 내용이 포함된 사용자의 프롬프트와 AI의 답변이 남는 로컬 JSON 또는 DB 파일입니다.
저장 위치가 iCloud, OneDrive 등 클라우드 동기화 폴더이거나 Docker 볼륨인지 확인해야 합니다.
PDF와 RAG가 만드는 데이터 4층 구조
문서를 로컬 AI에 입력하여 질문과 답변을 주고받는 기술을 RAG(검색 증강 생성)라고 부릅니다. 이 과정에서 데이터는 4개의 층위로 변환되어 로컬 저장소에 남습니다.
사용자가 지정한 PDF 파일.
PDF의 레이아웃을 벗겨내고 순수 텍스트만 추출한 상태.
텍스트를 의미 기반으로 검색할 수 있도록 일련의 숫자(Numeric vectors)로 변환한 상태.
사용자가 문서를 기반으로 질문할 때, 관련 텍스트와 답변이 채팅 기록에 남는 상태.
단순히 원본 PDF 파일을 지웠다고 해서 AI 앱 내부의 검색용 인덱스(벡터 데이터)나 대화 기록이 함께 지워지는 것은 아닙니다.
회사 문서의 입력 가능 여부부터 나누고 싶다면 회사 문서 AI 분류 및 취급 가이드를 먼저 확인해 보세요.
주요 로컬 AI 앱별 저장 위치 확인
각 로컬 환경이나 앱마다 데이터를 처리하고 저장하는 경로가 다릅니다.
Ollama: 모델과 문서 인덱스는 다릅니다
Ollama 자체는 텍스트를 벡터로 변환하는 임베딩 기능과 모델 구동을 담당합니다. Ollama 자체가 여러분의 문서나 프롬프트를 수집하지는 않습니다.
가장 흔히 하는 오해는 Ollama의 모델 폴더를 지우면 문서 기록도 지워진다고 생각하는 것입니다. 모델 저장 경로는 아래와 같지만, 이곳에 PDF 인덱스가 저장되지는 않습니다. PDF 데이터는 Ollama와 연결된 별도의 RAG 앱(UI) 쪽에 저장됩니다.
- macOS:
~/.ollama/models - Windows:
C:/Users/%username%/.ollama/models - Linux:
/usr/share/ollama/.ollama/models
LM Studio: 대화 기록과 첨부 파일
LM Studio는 .pdf, .docx, .txt 파일을 채팅창에 바로 첨부할 수 있습니다. 짧은 문서는 컨텍스트에 바로 들어가고, 긴 문서는 내부적으로 RAG를 거칩니다. 문서 처리는 기기 내부에서 이루어지지만, 문서의 내용이 포함된 대화 기록은 로컬에 파일 형태로 쌓입니다.
- 대화 기록 저장 형식: JSON 포맷
- macOS/Linux 경로:
~/.lmstudio/conversations/ - Windows 경로:
%USERPROFILE%/.lmstudio/conversations
GPT4All: LocalDocs와 컬렉션 DB
GPT4All의 LocalDocs 기능은 특정 폴더를 연결하여 문서를 텍스트 스니펫으로 나누고, 온디바이스 임베딩 모델을 통해 벡터로 만듭니다. 즉, 원본 PDF 외에 앱이 관리하는 별도의 벡터 인덱스 데이터가 로컬에 생성됩니다.
AnythingLLM(Local Docker): 자체 DB와 볼륨
웹 앱 형태로 띄워 사용하는 AnythingLLM은 기본적으로 소스 빌드 시 내부 폴더에 SQLite 데이터베이스를 생성합니다.
- DB 경로:
server/storage/anythingllm.db - 도커(Docker)로 구동할 경우, RAG를 위한 별도의 도커 볼륨(Docker volume)에 문서와 벡터 데이터가 저장될 수 있으므로 컨테이너를 삭제하더라도 볼륨이 남아있는지 확인해야 합니다.
문서 삭제 및 재색인 안전 순서
더 이상 필요 없는 문서를 로컬 AI 환경에서 지우고 싶다면, 윈도우 탐색기나 파인더에서 파일만 지워서는 안 됩니다. 찌꺼기 데이터가 남는 것을 방지하기 위해 앱의 UI를 통해 순차적으로 삭제하는 것이 좋습니다.
AI 앱(LM Studio 등)의 채팅 목록에서 해당 문서가 사용된 대화방을 선택하고 Delete Chat 버튼을 눌러 기록을 지웁니다.
GPT4All이나 AnythingLLM의 설정 메뉴로 들어가, 연결된 LocalDocs 컬렉션 또는 Workspace에서 해당 문서를 휴지통 아이콘을 눌러 제거합니다. 이 과정에서 벡터 DB의 인덱스가 지워집니다.
앱 내부 데이터 정리가 끝난 후, 원본 PDF 파일을 PC에서 삭제합니다.
처음 로컬 AI를 도입하는 단계라면 로컬 AI 도입 전 필수 체크리스트도 함께 확인해 두면 좋습니다.
클라우드 동기화와 백업 폴더를 놓치지 마세요
로컬 AI를 사용할 때 가장 놓치기 쉬운 보안 구멍은 운영체제의 클라우드 동기화 기능입니다.
만약 GPT4All의 LocalDocs 연결 폴더나 LM Studio의 대화 기록 저장 폴더가 iCloud Drive의 바탕화면 폴더이거나 OneDrive로 자동 동기화되는 문서 폴더에 있다면, 로컬 AI에서 생성한 데이터가 즉시 클라우드 서버로 업로드됩니다.
보안이 중요한 회사 문서라면 로컬 AI와 연동하는 전용 디렉토리를 만들고, 해당 디렉토리가 클라우드 동기화나 타임머신 등의 자동 백업 대상에서 제외되어 있는지 확인해야 합니다.
AI 답변을 업무 결과물로 쓰기 전에는 AI 답변 출처 확인 및 검증 체크리스트도 같이 적용하는 것이 안전합니다.
마무리
로컬 AI는 데이터를 외부 API로 보내지 않기 때문에 상대적으로 안전한 작업 환경을 제공합니다. 그러나 내 컴퓨터 내부에 대화 기록, 텍스트 추출본, 검색용 임베딩 데이터라는 여러 형태의 흔적을 남긴다는 사실을 간과해서는 안 됩니다.
중요한 문서를 다루기 전에는 앱이 데이터를 어디에 저장하는지 경로를 파악하고, 클라우드 동기화 폴더를 피해 작업 공간을 설정하며, 작업 후에는 앱 UI를 통해 인덱스와 대화를 삭제하는 습관을 들이는 것이 좋습니다.
FAQ
로컬 AI에서 대화를 지우면 완전히 삭제되나요?
앱 내부에서 대화를 지우면 UI 상에서는 사라지고 해당 JSON/DB 파일에서 삭제 기록이 처리됩니다. 하지만 데이터베이스 구조나 캐시 설정에 따라 스토리지에 잔여 데이터 조각이 남을 가능성이 있으므로, 보안 요구사항이 매우 높은 문서라면 전용 로컬 환경이나 암호화된 드라이브를 사용하는 것이 좋습니다.
Ollama를 지웠는데 왜 채팅 기록이 그대로 있나요?
Ollama는 모델을 구동하는 엔진 역할만 합니다. 채팅 기록은 Ollama에 명령을 내린 웹 UI(예: Open WebUI, AnythingLLM)나 별도 앱에 저장되므로 해당 앱의 저장소나 도커 볼륨을 정리해야 합니다.
인터넷을 아예 끄고 로컬 AI를 써도 데이터가 유출될 수 있나요?
인터넷이 물리적으로 차단된 상태라면 외부로 데이터가 나갈 수 없습니다. 하지만 나중에 인터넷에 연결되었을 때, 로컬에 저장된 텍스트 캐시나 대화 기록이 백업 프로그램(OneDrive 등)을 통해 동기화될 가능성을 주의해야 합니다.
PDF 원본만 지웠는데 AI가 계속 문서 내용을 기억합니다.
RAG 방식은 문서를 읽어 들일 때 벡터 데이터베이스라는 별도의 저장 공간에 텍스트를 쪼개어 저장합니다. 원본 파일을 지웠더라도 이 벡터 데이터(인덱스)가 남아있으면 AI는 계속 그 내용을 참조할 수 있습니다. 반드시 앱 설정에서 문서 인덱스나 컬렉션을 삭제해야 합니다.
참고 자료
- Ollama 공식 FAQ
- Ollama Embeddings 문서
- LM Studio 공식 문서 색인
- GPT4All LocalDocs 문서
- AnythingLLM Local Docker 문서
- NIST AI RMF Generative AI Profile
실무 판단 보강: 사용 가능·보류·금지 기준
최종 판단: 로컬 AI에 PDF 넣기 전 캐시와 저장 위치 확인법의 핵심은 단순 추천이 아니라 실제 업무에 넣어도 되는 조건을 확인하는 것입니다. 아래 기준을 통과하면 제한적으로 사용할 수 있고, 확인되지 않은 항목이 있으면 보류하는 편이 안전합니다.
이 글을 읽어야 하는 사람
- 로컬 AI에 PDF 넣기 전 캐시와 저장 위치 확인법을 실제 보고서·회의록·문서 작업에 넣기 전 검증 기준이 필요한 사람
- AI 답변·요약·검색 결과를 그대로 붙여넣지 않고 출처와 조건을 확인해야 하는 실무자
- 고객정보, 내부자료, 미공개 일정처럼 입력 금지 또는 마스킹이 필요한 자료를 다루는 사람
| 판단 | 기준 |
|---|---|
| 사용 가능 | 저장 위치, 네트워크 연결, 모델 파일, 로그 경로, 입력 데이터 삭제 경로를 확인한 뒤 개인·테스트 범위에서 사용 가능 |
| 조건부 사용 | 회사 문서를 넣어야 한다면 문서 등급 분류와 로컬 저장 정책을 확인한 뒤 조건부 사용 |
| 보류 | 설치 경로, 플러그인, 외부 전송 여부, 백업 위치가 불명확하면 업무 적용 보류 |
| 금지 | 비공개 소스코드·고객정보·인증키를 검증되지 않은 에이전트나 확장 기능에 입력하는 것은 금지 |
실제 업무 시나리오
로컬 AI에 PDF 넣기 전 캐시와 저장 위치 확인법를 설치한 뒤 샘플 문서 하나로 저장 위치와 로그 생성 여부를 확인하고, 실제 업무 문서는 그 다음 단계에서만 투입한다.
실패 또는 사고 가능성
로컬 실행이라고 해도 플러그인, 원격 모델 호출, 로그·캐시·동기화 폴더를 통해 데이터가 남거나 외부로 나갈 수 있다.
운영자 판단
무료 테스트나 개인 실험은 가능하더라도, 팀 업무·고객정보·비용이 연결되는 순간에는 권한, 로그, 백업, 삭제 경로, 책임자를 먼저 확인해야 합니다. 이 조건을 확인하지 못하면 도입을 미루는 편이 안전합니다.
출처와 마지막 확인일
- 마지막 확인일: 2026-06-08 KST
- docs.ollama.com
- docs.ollama.com
- lmstudio.ai
- docs.gpt4all.io
이 글의 한계
이 글은 공개 문서와 현재 본문 기준의 실무 판단 가이드입니다. 요금제, 베타 기능, 보안 정책, 지원 지역, 하드웨어 스펙은 바뀔 수 있으므로 계약·구매·보안 정책 결정 전에는 최신 공식 문서를 다시 확인해야 합니다.
관련 글
이 글은 AI 초안과 자동화 수집 자료를 바탕으로 작성했으며, 운영자가 공식 출처·수치·적용 조건을 확인한 뒤 게시했습니다. 정책, 요금제, 기능은 변경될 수 있으므로 중요한 업무 결정 전에는 원문을 함께 확인하세요.