나만의 RAG Chatbot 만들기 - 4. PDF 파일 읽기

오늘은 PDF를 읽어와서 나만의 RAG를 만들어보겠습니다. 앞선 강의는 아래에서 참고해보세요.

나만의 RAG Chatbot 만들기 – 3. LangChain

PDF파일

먼저 PDF가 있으시면 그걸로 하시고, 없을 경우 테슬라의 사용자 매뉴얼을 샘플로 테스트하겠습니다.

https://www.tesla.com/ownersmanual/modely/ko_kr/Owners_Manual.pdf

먼저 코드에서는 pdf를 불러오기 위해 패키지를 설치합니다.

기본적으로 랭체인에서 불러오기 위해서는 pypdf를 사용하고 loader를 통해서 파일을 불러옵니다.

pip install pypdf #PDF 불러오기
pip install cryptography #암호화를 위한 패키지
pip install tiktoken #토큰 자르기

from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader('/workspaces/LLMTest/Owners_Manual.pdf')  # 아래를 참고하여 파일 위치 확인
pages = loader.load_and_split()
print(len(pages))
print(pages[0])

codespace에 파일 추가는 드래그 앤 드랍 하면 되는데요. 간단하게 드래그앤 드랍으로 추가가 가능합니다.

추가하고 마우스 우 클릭 – 경로 복사 해서 불러올 파일의 주소를 복사 붙여 넣기 합니다.

RAG(검색 증강 생성) 시스템을 구축할 때 가장 중요한 단계 중 하나가 바로 ‘텍스트 분할(Chunking)’입니다. RecursiveCharacterTextSplitter는 LangChain에서 가장 권장되는 기본 텍스트 분할기입니다.

쉽게 말해, 아주 긴 문서(PDF, 블로그 포스트 등)를 AI가 한 번에 읽기 좋은 크기의 덩어리로 잘라주는 역할을 합니다.

from langchain_openai import AzureChatOpenAI  
from dotenv import load_dotenv
import os
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

load_dotenv()

MODEL_DEPLOYMENT_NAME = "gpt-4.1" # 실제 Azure 배포명을 입력하세요

llm = AzureChatOpenAI(
        deployment_name=MODEL_DEPLOYMENT_NAME,                        
        temperature=1,                        
)  

messages = [
         SystemMessage(content='당신은 업무 계획을 세워주는 업무 플래너 머신입니다. 사용자의 업무를 입력 받으면 이를 위한 계획을 작성합니다.'),     
         HumanMessage(content='신입사원 교육을 해야됩니다.') 
]  

# answer = llm.invoke(messages) 
#print(answer.content)

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader('/workspaces/LLMTest/Owners_Manual.pdf') 
pages = loader.load_and_split()

# print(len(pages))
# print(pages[0].page_content)

import tiktoken 
tokenizer = tiktoken.get_encoding('cl100k_base')  
def tiktoken_len(text):
    tokens = tokenizer.encode(text)  
    return len(tokens)

from langchain_text_splitters import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(     
    chunk_size=1000, 
    chunk_overlap=100, 
    length_function=tiktoken_len 
) 

texts = text_splitter.split_documents(pages)

print("pages: ", len(pages))
print("texts: ", len(texts))

Ctrl+ K + C가 주석

Ctrl +K+ U가 주석 해제

텍스트 임베딩 모델 생성

RAG를 하기 위해서 langchain에서 임베딩 모델을 생성합니다.

from langchain_openai import AzureOpenAIEmbeddings  
embedding_model = AzureOpenAIEmbeddings(
                        azure_deployment=EMBEDDING_MODEL_NAME, 
                        chunk_size=1000)

그리고 실습을 위해서 임베딩 테스트 데이터로 테스트를 해봅니다.

이게 가장 많이 사용하는 샘플이라고 합니다.

유사한 값끼리 비교해봅니다.

from langchain_openai import AzureChatOpenAI  
from dotenv import load_dotenv
import os
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

load_dotenv()

MODEL_DEPLOYMENT_NAME = "gpt-4.1" # 실제 Azure 배포명을 입력하세요

EMBEDDING_MODEL_NAME = 'text-embedding-3-large' # 사용할 OpenAI의 고성능 임베딩 모델 이름을 지정합니다.

from langchain_openai import AzureOpenAIEmbeddings  
embedding_model = AzureOpenAIEmbeddings(
                        azure_deployment=EMBEDDING_MODEL_NAME, # Azure 환경에 배포된 임베딩 모델을 연결합니다.
                        chunk_size=1000) # 한 번에 보낼 데이터 크기를 설정합니다.

examples = {
         "안녕하세요",     
         "제 이름은 홍길동 입니다.",     
         "이름이 무엇인가요?",     
         "랭체인은 유용합니다. ",
         "Hello World" 
         }  

embeddings = embedding_model.embed_documents(examples)

from numpy import dot
from numpy.linalg import norm
import numpy as np

def cos_sim(A,B):
  # 두 벡터 사이의 각도를 계산하여 1에 가까울수록 의미가 비슷하다고 판별합니다.
  return dot(A,B)/(norm(A)*norm(B))

print(cos_sim(embeddings[0], embeddings[1]))
# 질문과 문서 뭉치 중 1번 인덱스 문장의 유사도를 구합니다.

print(cos_sim(embeddings[0], embeddings[2]))
# 질문과 문서 뭉치 중 2번 인덱스 문장의 유사도를 구합니다.

PDF 파일에서 불러와서 스플릿하고 임베딩해서 저장까지 합니다.

loader = PyPDFLoader('/workspaces/LLMTest/Owners_Manual.pdf') # PDF 파일을 불러오는 로더 객체를 생성합니다.
pages = loader.load_and_split() # PDF를 읽어오고, 페이지 단위(기본)로 데이터를 나눕니다.

import tiktoken 
tokenizer = tiktoken.get_encoding('cl100k_base') # OpenAI 모델(GPT-4 등)이 사용하는 토큰 인코딩 방식을 가져옵니다.

def tiktoken_len(text):
    tokens = tokenizer.encode(text) # 텍스트를 토큰으로 변환합니다.
    return len(tokens) # 변환된 토큰의 개수를 반환합니다. (글자 수가 아닌 AI 비용/제한 기준)

from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(     
    chunk_size=1000,           # 각 덩어리(Chunk)의 최대 길이를 1000 토큰으로 설정합니다.
    chunk_overlap=100,         # 덩어리 간 문맥 연결을 위해 앞뒤 100 토큰씩 겹치게 자릅니다.
    length_function=tiktoken_len # 길이를 재는 기준으로 위에서 만든 토큰 계산 함수를 사용합니다.
) 

texts = text_splitter.split_documents(pages) # 페이지 단위 문서를 위 설정대로 더 작은 덩어리로 잘라 리스트로 만듭니다.

EMBEDDING_MODEL_NAME = 'text-embedding-3-large' # 사용할 OpenAI의 고성능 임베딩 모델 이름을 지정합니다.

from langchain_openai import AzureOpenAIEmbeddings  
embedding_model = AzureOpenAIEmbeddings(
                        azure_deployment=EMBEDDING_MODEL_NAME, # Azure 환경에 배포된 임베딩 모델을 연결합니다.
                        chunk_size=1000) # 한 번에 보낼 데이터 크기를 설정합니다.

from numpy import dot 
from numpy.linalg import norm 
import numpy as np  

def cos_sim(A, B):   
    # 두 벡터(문장) 사이의 거리(유사도)를 계산하는 함수입니다. 1에 가까울수록 의미가 비슷합니다.
    return dot(A, B)/(norm(A)*norm(B))

from langchain_community.vectorstores import Chroma  

db = Chroma.from_documents(
             texts,               # 위에서 자른 텍스트 덩어리들을 넣습니다.
             embedding=embedding_model, # 각 텍스트를 숫자로 변환(임베딩)할 모델을 지정합니다.
             persist_directory="./chroma_db" # 변환된 데이터를 './chroma_db' 폴더에 저장합니다. (나중에 다시 로드 가능)
     )

체인 설명

from langchain_community.vectorstores import Chroma
from langchain_openai import AzureOpenAIEmbeddings  
from dotenv import load_dotenv
import os


load_dotenv()


EMBEDDING_MODEL_NAME = 'text-embedding-3-large'
embedding_model = AzureOpenAIEmbeddings(
                        azure_deployment=EMBEDDING_MODEL_NAME, 
                        chunk_size=1000)

persist_directory = './chroma_db'  # 데이터베이스가 저장될 디렉토리 경로


# 저장된 데이터베이스 불러오기
db = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding_model
)

query = "실내 온도 조절" # 사용자가 궁금해하는 질문 키워드입니다.
results = db.similarity_search(query) 
# [핵심] 질문을 숫자로 바꾼 뒤, DB 내의 데이터들과 비교하여 가장 유사한 문서 4개(기본값)를 가져옵니다.

print(results[0].page_content) 
print("-" * 100) 
print(results[1].page_content) 
print("-" * 100) 
print(results[2].page_content) 
print("-" * 100) 
print(results[3].page_content)

전체 RAG 코드는 아래와 같습니다.

from langchain_community.vectorstores import Chroma
from langchain_openai import AzureOpenAIEmbeddings  
from dotenv import load_dotenv
import os
from langchain_openai import AzureChatOpenAI  


load_dotenv()

MODEL_DEPLOYMENT_NAME = "gpt-4.1" # 실제 Azure 배포명을 입력하세요

llm = AzureChatOpenAI(
        deployment_name=MODEL_DEPLOYMENT_NAME,                        
        temperature=1,                        
)  

EMBEDDING_MODEL_NAME = 'text-embedding-3-large'
embedding_model = AzureOpenAIEmbeddings(
                        azure_deployment=EMBEDDING_MODEL_NAME, 
                        chunk_size=1000)

persist_directory = './chroma_db'  # 데이터베이스가 저장될 디렉토리 경로


# 저장된 데이터베이스 불러오기
db = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding_model
)

from langchain_classic.chains import RetrievalQA 
from re import search 

qa = RetrievalQA.from_chain_type(
         llm=llm,
         chain_type='stuff',
         retriever=db.as_retriever(
                 search_type='mmr',  # [검색 알고리즘] Maximum Marginal Relevance(최대 한계 관련성) 방식입니다.
                 search_kwargs={
            'k': 3,         # [최종 선택] 최종적으로 AI에게 전달할 문서의 개수입니다.
            'fetch_k': 10   # [후보 선발] 먼저 DB에서 관련성이 높은 10개를 후보로 뽑습니다.
                            # 그 10개 중에서 서로 내용이 가장 안 겹치는 3개(k)를 MMR이 골라냅니다.
        }
    ),
    return_source_documents=True # [출처 표시] 답변과 함께 AI가 참고한 '원본 문서 덩어리'도 반환할지 결정합니다.
)

query = '실내 온도 조절 장치의 전기 공급은?' 
result = qa.invoke(query)
print(result)

나만의 RAG Chatbot 만들기 – 5. Agent 만들기

나만의 RAG Chatbot 만들기 – 4. PDF 파일 읽기

PDF파일

텍스트 임베딩 모델 생성

구글 새로운 생성형 AI 제미나이(Gemini) 출시

생성형 AI로 업무효율화 방법

ChatGPT로 코딩하는 방법

나만의 RAG Chatbot 만들기 – 5. Agent 만들기

Chatgpt + 구글 코랩으로 설치 없이 파이썬 코딩 해보기

ChatGPT 프롬프트 엔지니어링이란?

One Comment

답글 남기기 응답 취소

PDF파일

텍스트 임베딩 모델 생성

Similar Posts

One Comment

답글 남기기 응답 취소