도입: 왜 우리 회사의 문서를 ChatGPT는 모를까요?
안녕하세요, 여러분. 15년 차 풀스택 개발자이자 AI 솔루션 아키텍트로 활동 중인 필자입니다. 오늘 여러분과 함께 개발자라면 누구나 한 번쯤 꿈꿔봤을 흥미로운 여정을 떠나보려 합니다. 혹시 사내 프로젝트나 개인적인 업무 중에 이런 답답한 경험 없으신가요? ChatGPT에게 "우리 회사 2024년도 사규에 따르면 육아휴직은 최대 며칠까지 가능해?"라고 물었더니, 엉뚱하게 대한민국 일반 근로기준법을 읊어주거나, "저는 그 정보에 접근할 수 없습니다"라고 딱 잘라 말하는 상황 말이죠. 정말 답답하기 그지없습니다. 마치 하버드 대학교를 수석으로 졸업한 천재적인 컨설턴트를 비싼 돈 주고 고용했는데, 정작 우리 회사의 업무 매뉴얼은 단 한 줄도 읽지 않은 상태와 같습니다. 아무리 IQ가 높아도 정보가 입력되지 않으면 말짱 도루묵인 셈이죠.
많은 분들이 이 문제를 해결하기 위해 가장 먼저 '파인 튜닝(Fine-tuning)'을 떠올립니다. 하지만 현업에서 수십 건의 프로젝트를 진행해 본 경험으로 솔직히 말씀드리면, 단순한 문서 검색과 질의응답을 위해 파인 튜닝을 선택하는 것은 가성비가 매우 떨어지는, 소위 '비효율의 극치'입니다. 데이터가 업데이트될 때마다 모델을 다시 학습시켜야 하기 때문입니다. 제가 예전에 금융권 프로젝트를 진행할 때, 매일 아침 바뀌는 금리 규정을 학습시키려다 GPU 서버 비용만 월 수천만 원을 날릴 뻔한 아찔한 적이 있습니다. 그때 뼈저리게 깨달았죠. "아, 모델에게 지식을 억지로 '주입'하는 게 아니라, 필요할 때마다 책을 '찾아보게' 시켜야겠구나"라고 말입니다.
이것이 바로 오늘 우리가 다룰 **RAG(Retrieval-Augmented Generation, 검색 증강 생성)** 기술의 핵심입니다. 쉽게 비유하자면, AI에게 "시험 볼 때 네 머리만 믿지 말고, 옆에 있는 교과서를 펼쳐서 오픈북으로 봐도 돼!"라고 허락해 주는 것과 같습니다. 우리가 가진 수많은 PDF 문서들을 AI가 언제든 참고할 수 있는 '전용 교과서'로 만들어주는 것이죠. 이 기술을 제대로 익히면, 여러분은 단순히 파이썬 코딩을 하는 것을 넘어 기업의 지식 관리 시스템(KMS)을 혁신하는 주인공이 될 수 있습니다. 실제로 저는 이 기술을 도입하여 고객 응대 시간을 70% 단축시킨 경험이 있습니다. ☕ 커피 한 잔 넉넉히 준비하셨나요? 그럼, 나만의 똑똑한 AI 비서 만들기, 지금 바로 시작해 봅시다.
1. RAG의 핵심 원리: 도서관 사서와 같은 AI 만들기
본격적인 개발 코드를 작성하기에 앞서, RAG의 작동 원리를 확실히 짚고 넘어가야 합니다. 많은 주니어 개발자분들이 블로그에 있는 코드를 복사해서 붙여넣기는 기가 막히게 잘하지만, 정작 내부에서 데이터가 어떤 흐름으로 처리되는지 이해하지 못해 트러블슈팅 단계에서 3일 밤을 꼬박 새우곤 합니다. RAG는 크게 세 가지 단계로 나뉩니다. 첫째, 문서를 읽고 의미 있는 단위로 조각냅니다(Indexing). 둘째, 그 조각을 컴퓨터가 이해할 수 있는 숫자로 변환해 저장합니다(Embedding & Storage). 셋째, 질문이 들어오면 가장 유사한 조각을 찾아 AI에게 프롬프트와 함께 건네줍니다(Retrieval & Generation).
여러분이 거대한 국립 도서관의 사서라고 상상해 보세요. 누군가 와서 "임진왜란 때 이순신 장군의 첫 승리는 무엇인가요?"라고 묻습니다. 만약 여러분이 도서관의 모든 책 내용을 달달 외우고 있다면(이것이 학습된 LLM입니다) 바로 대답하겠죠. 하지만 모른다면 어떻게 할까요? 도서 검색대에서 '이순신', '임진왜란', '첫 승리' 같은 키워드로 관련 서적을 찾고(Retrieval), 해당 페이지를 펼쳐 내용을 확인한 뒤(Context), 질문자에게 요약해서 대답(Generation)할 것입니다. 랭체인(LangChain)은 바로 이 복잡한 일련의 과정을 파이썬 코드로 자동화해 주는 강력한 파이프라인 도구입니다.
💡 시니어의 통찰: 왜 그냥 키워드 검색(Search)이 아니라 벡터(Vector) 검색일까요? 기존의 키워드 검색은 '자동차'를 검색하면 '탈것'이나 '승용차'라는 단어가 포함된 문서를 찾지 못할 수 있습니다. 하지만 벡터 검색은 단어의 의미(Semantics)를 다차원 공간의 숫자로 변환하여 거리를 비교하기 때문에, '배고프다'라고 검색하면 '맛집 리스트'를 찾아줄 수 있습니다. 이것이 RAG가 단순 검색보다 훨씬 강력하고 인간처럼 느껴지는 이유입니다.
2. 개발 환경 설정: 도구 준비가 절반이다
요리사가 최고의 요리를 만들기 위해 칼을 갈듯이, 우리도 필요한 라이브러리들을 세팅해야 합니다. 파이썬 3.9 이상의 환경을 권장하며, 가상 환경(Virtual Environment)을 사용하는 것이 정신 건강에 좋습니다. 우리가 사용할 핵심 라이브러리는 크게 4가지입니다. 오케스트레이션을 담당할 `langchain`, LLM을 호출할 `langchain-openai`, PDF를 읽어올 `pypdf`, 그리고 벡터 검색을 위한 `faiss-cpu`(또는 `chromadb`)입니다.
특히 `tiktoken` 라이브러리 설치를 잊지 마세요. 토큰 수를 정확히 계산해야 API 비용 폭탄을 피할 수 있습니다. 또한, OpenAI API Key는 절대로 코드 내에 하드코딩하지 마십시오. 깃허브(GitHub)에 실수로 올렸다가 1분 만에 수십만 원이 결제되는 사고를 주변에서 너무 많이 봤습니다. 반드시 `.env` 파일을 생성하여 환경 변수로 관리하고, `python-dotenv` 라이브러리를 통해 로드하는 습관을 들이세요. 보안은 타협의 대상이 아닙니다.
3. PDF 문서 전처리: 쓰레기가 들어가면 쓰레기가 나온다 (GIGO)
문서 로딩과 텍스트 추출의 디테일
데이터 과학 분야에는 "Garbage In, Garbage Out(쓰레기가 들어가면 쓰레기가 나온다)"이라는 불변의 진리가 있습니다. AI 챗봇 개발도 마찬가지입니다. PDF는 사실 기계가 읽기에 아주 고약한 포맷입니다. 레이아웃, 표, 이미지, 다단 편집 등이 뒤섞여 있기 때문이죠. 랭체인에서는 `PyPDFLoader`라는 아주 편리한 도구를 제공하지만, 이것만 맹신하면 낭패를 봅니다.
💬 여러분의 경험을 들려주세요!
✨ 이 방법을 시도해보셨나요? 댓글로 공유해주세요!
📌 도움이 되셨다면 저장하고 주변에도 알려주세요.
🔔 더 많은 개발 팁을 받고 싶다면 구독해주세요!
댓글
댓글 쓰기