[LangChain] RAG VectorStore & Retrievers

🦜📑 RAG란?

---

이미지 출처: https://www.ml6.eu/blogpost/leveraging-llms-on-your-domain-specific-knowledge-base

RAG(Retriever Augmented Generation)란 추가적인 데이터를 이용하여 LLM의 지식을 강화하는 기술이다.

RAG는 기존의 학습된 LLM이 추가적인 정보를 바탕으로 답변을 하는 방식으로 정보를 보강한다는 점이 특징이다.

따라서 최신 데이터나 특정 도메인의 세부적인 지식을 보강할 수 있어 다양한 분야에 적용이 가능하다.
또한 추가적인 데이터를 기반으로 답변을 생성하기에 기존의 LLM의 문제점으로 지적되던 할루시네이션
현상을 줄일 수 있다는 점이 장점이다.

RAG 어플리케이션은 크게 두 가지 구성 요소가 있다.

• Indexing
  - 데이터 소스로부터 데이터를 수집하고 인덱싱하기 위한 Pipeline
• Retrieval and Generation
  - 실제 RAG 체인으로 런타임 시 사용자 쿼리를 가져와 관련된 데이터를 검색한 후 모델에 전달

👀 RAG Concept

📚 Indexing

---

이미지 출처: https://pub.towardsai.net/langchain-101-part-3a-talking-to-documents-load-split-and-simple-rag-with-lcel-26b005ccb30a

• Load
  - Document Loader를 이용하여 데이터를 로드한다.
• Split
  - 데이터를 수월하게 Indexing하고 모델에 전달하기 위해 Text Splitter를 통해 Documents를 작은 청크 단위로 분할한다.
• Store
  - 검색을 위해 VectorStore와 Embedding Model을 이용해 분할한 데이터(Split)를 저장한다.

이미지 출처: https://python.langchain.com/v0.2/docs/tutorials/rag/

🔍 Retrieval and Generation

• Retrieve
  • 사용자 입력이 주어지면 Retriever를 통해 Storage로부터 관련 split들이 검색된다.
• Generate
  • LLM은 질문과 검색된 데이터가 포함된 프롬프트를 사용하여 답변을 생성한다.

이미지 출처: https://python.langchain.com/v0.2/docs/tutorials/rag/

🖇RAG Pipeline

이미지 출처: https://pub.towardsai.net/langchain-101-part-3a-talking-to-documents-load-split-and-simple-rag-with-lcel-26b005ccb30a

Import Modules

---

!pip install langchainhub
!pip install sentence-transformers
!pip install langchain langchain_community langchain_chroma

import bs4
from langchain import hub
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader, TextLoader
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_google_genai import ChatGoogleGenerativeAI

set env

---

from dotenv import load_dotenv

# load settings
load_dotenv()

Load LLM

---

구글의 gemini-pro 모델을 사용했다. 이 외에도 ChatGPT, Ollama와 같은 다양한 LLM을 사용할 수 있다.

llm = ChatGoogleGenerativeAI(model="gemini-pro")

Load Document

---

이미지 출처: https://pub.towardsai.net/langchain-101-part-3a-talking-to-documents-load-split-and-simple-rag-with-lcel-26b005ccb30a

Document는 PDF, Text, Web 등 다양한 소스로부터 로드할 수 있다.
실습을 위해 최근 네이버 뉴스의 한 기사 데이터를 수집하였다.

loader = WebBaseLoader(
    web_paths=("https://n.news.naver.com/mnews/article/018/0005806756?sid=101/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("media_end_head_headline", "newsct_body", "media_end_summary")
        )
    ),
)
docs = loader.load()
print(docs[0].page_content[:500])
>>>한은 "美 경기침체 예단 어려워…하반기도 경상수지 흑자기조"[일문일답]


6월 국제수지 잠정 설명회"글로벌 경기 호조 따른 수출 증가세 계속, 투자도 양호""7월 흑자 규모 줄곘으나, 당분간 흑자 기조 이어질 것"[이데일리 하상렬 기자] 한국은행은 하반기에도 경상수지 흑자기조가 이어질 것으로 전망했다. 미국발(發) 경기침체 우려에도 반도체를 중심으로 한 정보기술(IT) 수출 호조가 이어질 것으로 예상됐다. 다만 한은은 하반기에는 수입이 늘어나며 경상수지 흑자를 이끈 상품수지의 흑자 규모가 줄어들 것으로 내다봤다.



송재창 금융통계부장이 7일 오전 서울 중구 한국은행에서 ‘2024년 6월 국제수지(잠정)’의 주요 특징을 설명하고 있다.(사진=한국은행)송재창 한은 경제통계국 금융통계부장은 7일 ‘6월 국제수지(잠정)’ 설명회에서 “글로벌 경기 호조에 따른 수출 증가세가 계속되고 투자 소득이 양호해 당분간 (경상수지) 흑자 기조가 이어질 것으로 보인다”고 밝혔다.다만 송 부장은 △미

로드된 문서의 길이는 총 6342자인 것을 확인할 수 있다.

# 로드된 문서의 길이

len(docs[0].page_content)
>>> 6342

Document Split

---

이미지 출처: https://pub.towardsai.net/langchain-101-part-3a-talking-to-documents-load-split-and-simple-rag-with-lcel-26b005ccb30a

로드된 문서의 길이는 총 6342자이다. 문서의 길이가 너무 길면 LLM이 질문과 관련된 문서를 찾기 어려울 수 있기 때문에 문서를 Chunk 단위로 분할해야한다.

Chunk 단위로 분할된 문서는 LLM이 관련성이 가장 높은 부분만 검색하는 데 도움을 줄 수 있다.

# 1000자의 청크로 분할하고 청크 사이에 200자가 겹치도록 분할
# 청크가 겹치도록 세팅하면 중요한 구문을 분리하는 상황을 방지하는 데 도움을 줄 수 있다.
text_splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=100)
splits = text_splitter.split_documents(docs)

all_splits = text_splitter.split_documents(docs)

print(f"분리된 문서의 갯수 : {len(all_splits)}")

print(f"1번째 문서의 길이 : {len(all_splits[0].page_content)}")

print(all_splits[0].metadata)
>>>분리된 문서의 갯수 : 10
1번째 문서의 길이 : 290
{'source': 'https://n.news.naver.com/mnews/article/018/0005806756?sid=101/'}

Vector Store

---

분리된 총 10개의 문서를 런타임에서 검색할 수 있도록 Indexing하는 작업이 필요하다.
일반적으로 Vector Database(Vector Store)에 각 분할된 문서의 임베딩 결과를 삽입한다.

LangChain 공식 문서에서 Vector Database는 오픈소스인 Chroma DB를 소개한다.

이미지 출처: https://docs.trychroma.com/

# 테스트를 위해 vectorstore를 초기화 하는 로직
for collection in vectorstore._client.list_collections():
  ids = collection.get()['ids']
  print('REMOVE %s document(s) from %s collection' % (str(len(ids)), collection.name))
  if len(ids): collection.delete(ids)

# Vector Store 생성
vectorstore = Chroma.from_documents(documents=splits, embedding=HuggingFaceEmbeddings())

Retrieve

---

문자열 쿼리가 주어지면 유사도가 높은 Document를 반환할 수 있는 인덱스를 래핑하는 Retriever 인터페이스를 정의해야한다.

retriever = vectorstore.as_retriever()
relevant_docs  = retriever.get_relevant_documents("한은의 미국발 경기침체 우려에 대한 입장이 어때")

>>>문서의 개수: 4
[검색 결과]

제조업체가 설비투자를 재개하고 원자재 가격이 안정됐다고 하지만 가격이 안정화된 영향은 기저효과로 작용할 수 있다. 수입 감소세는 하반기에는 완화되지 않을까 예상된다. 실제로 7월 통관 기준 무역수지를 보면 6월에는 상품수입이 7.5% 감소했다가 7월엔 10.5% 증가했다. 그런 영향을 고려할 때 그간 수입 감소세는 완화될 것으로 보인다.-그간 엔저로 인한 일본 여행 때문에 여행수지가 영향을 크게 받았다고 설명했다 .최근 엔화값 반등이 있었다. 이에 따라 여행수지를 어떻게 예상하는가.△(송 부장) 지금까지 엔저 영향이 있었다. ‘슈퍼 엔저’ 우려도 있었다. 최근 일본은행이 금리 인상을 한 반면 미국 연방준비제도(Fed·연준)의 금리 인하 기대로 엔화가 강세 흐름으로 전환됐다. 지난번 엔저 영향 반대로 해석하자면 일본행 여행수요를 보면 엔저로 인해 활성화 됐던 측면이 약화되지 않겠나. 가격적 측면에서 보자면 그렇게 볼 수 있을 것 같다.-경상수지 흑자 규모가 역대 3번째로 크다. 추가설명 부탁한다. 하반기에도 이와 비슷한 흑자규모를 달성할 수 있거나 역대 최대치 달성 가능성도 궁금하다.△(송 부장) 상품수지가 크게 개선된 영향이 있다. 2023년 하반기부터 정보기술(IT) 경기 회복 영향으로 상품수지가 생각보다 빠르게 개선됐다. 이것은 수출이 지속적으로 지속하는 반면 수입이 감소했던 측면이 복합적으로 작용했다. 하반기엔 수출 호조가 지속될 것이고 본원소득수지를 비롯한 부분도 양호한 투자소득이 유입되는 흐름은 지속될 것으로 보인다. 다만 미국 경기, AI 관련 투자 둔화 가능성, 주요국 통화정책 방향, 지정학적
print(f"문서의 개수: {len(relevant_docs)}")
print("[검색 결과]\n")
print(relevant_docs[0].page_content)
>>>문서의 개수: 4
[검색 결과]

제조업체가 설비투자를 재개하고 원자재 가격이 안정됐다고 하지만 가격이 안정화된 영향은 기저효과로 작용할 수 있다. 수입 감소세는 하반기에는 완화되지 않을까 예상된다. 실제로 7월 통관 기준 무역수지를 보면 6월에는 상품수입이 7.5% 감소했다가 7월엔 10.5% 증가했다. 그런 영향을 고려할 때 그간 수입 감소세는 완화될 것으로 보인다.-그간 엔저로 인한 일본 여행 때문에 여행수지가 영향을 크게 받았다고 설명했다 .최근 엔화값 반등이 있었다. 이에 따라 여행수지를 어떻게 예상하는가.△(송 부장) 지금까지 엔저 영향이 있었다. ‘슈퍼 엔저’ 우려도 있었다. 최근 일본은행이 금리 인상을 한 반면 미국 연방준비제도(Fed·연준)의 금리 인하 기대로 엔화가 강세 흐름으로 전환됐다. 지난번 엔저 영향 반대로 해석하자면 일본행 여행수요를 보면 엔저로 인해 활성화 됐던 측면이 약화되지 않겠나. 가격적 측면에서 보자면 그렇게 볼 수 있을 것 같다.-경상수지 흑자 규모가 역대 3번째로 크다. 추가설명 부탁한다. 하반기에도 이와 비슷한 흑자규모를 달성할 수 있거나 역대 최대치 달성 가능성도 궁금하다.△(송 부장) 상품수지가 크게 개선된 영향이 있다. 2023년 하반기부터 정보기술(IT) 경기 회복 영향으로 상품수지가 생각보다 빠르게 개선됐다. 이것은 수출이 지속적으로 지속하는 반면 수입이 감소했던 측면이 복합적으로 작용했다. 하반기엔 수출 호조가 지속될 것이고 본원소득수지를 비롯한 부분도 양호한 투자소득이 유입되는 흐름은 지속될 것으로 보인다. 다만 미국 경기, AI 관련 투자 둔화 가능성, 주요국 통화정책 방향, 지정학적

프롬프트는 LangChain 프롬프트 허브의 RAG용 프롬프트를 세팅한다.

• retriever | format_docs: 사용자 질문을 이용해 Document를 생성하고 format_docs에 전달하여 문자열을 생성한다.
• RunnablePassthrough(): 사용자의 질문은 그대로 통과한다.

prompt = hub.pull("rlm/rag-prompt")

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
     | prompt
     | llm
     | StrOutputParser()
)

rag_chain.invoke("미국발 경제침체 우려에 대해 어떻게 생각해?")
>>> '한은은 미국발 경기침체 우려에도 불구하고 하반기에도 경상수지 흑자 기조가 이어질 것으로 전망했습니다. 반도체를 중심으로 한 IT 수출 호조가 지속될 것으로 예상되기 때문입니다. 다만 수입이 늘어나면서 상품수지의 흑자 규모는 줄어들 것으로 보입니다.'

rag_chain.invoke("올해 한국의 하반기 무역수지에 대해 어떻게 생각해?")
>>> '올해 한국의 하반기 무역수지에 대해서는 경상수지 흑자 기조가 이어질 것으로 전망된다. 다만 수입 증가로 인해 상품수지의 흑자 규모는 줄어들 것으로 예상된다. 이러한 전망은 미국발 경기 침체 우려에도 반도체를 중심으로 한 IT 수출 호조가 이어질 것으로 예상되기 때문이다.'

LangSmith에서 위의 테스트가 어떠한 과정을 거쳐 답변이 생성되었는지 확인해볼 수 있다.

참고자료

• https://pub.towardsai.net/langchain-101-part-3a-talking-to-documents-load-split-and-simple-rag-with-lcel-26b005ccb30a
• https://python.langchain.com/v0.2/docs/tutorials/rag/