특정 Domain에 관한 Retrieval-Augmented Generation (이하, RAG)를 수행하는데 있어 Embedding Model의 성능변화가 Domain Adaptation (이하 DAPT)적용 이후에 얼마나 유지가 되는지에 대한 실험을 수행하고자 함.

• 기존 프로젝트의 후속실험으로 자세한 내용은 아래 항목을 참고할 것.

  • SSiS TeamA - Ask-for-Welfare Service
  • SSiS TeamB - Advanced Semantic Search Engine

• Domain Adaptation과 RAG

  • 공통적으로 복지 도메인에 특화된 RAG System을 구축하고자 함.

  • 범용 Korean Embedding Model을 복지 도메인에 특화되게 DAPT 수행하였음.

    • 기존 프로젝트에서는 AVG Score가 가장 높은 KoSimCSE-RoBERTa-multitask 사용

• 기획

  • 가설정의
    • 특정 Domain에 대해 RAG를 수행하는데 있어서, 임베딩 모델의 기본성능이 높을수록 DAPT를 수행했을 시 더 높은 Retriever 성능을 보일 것이다.
  • 데이터셋 생성 및 정제
    • 복지로에서 오픈소스로 공개된 2023 나에게 힘이 되는 복지서비스 pdf 책자를 이용해 추가적인 데이터셋을 생성
  • 기존 프로젝트와 동일한 RAG System을 채용하였으며 Retriever이 잘 되는지 아닌지 평가하기 위해 hitrate를 평가지표로써 채택하였다.

• 환경구성

  $ pip install -r requirement.txt
  

• 👉 데이터셋 생성
  • 비용산정
    • OpenAI API gpt-4-1106-preview 사용
    • 비용: 약 90.2$
    • OpenAI API Pricing 참조
• 👉 테스트 내용

최종적으로 ko-sroberta-multitask 가 가장 높은 평균 수치를 가졌고 “특정 Domain에 대해 RAG를 수행하는데 있어서, 임베딩 모델의 기본성능이 높을수록 DAPT를 수행했을 시 더 높은 Retriever 성능을 보일 것이다.”라는 우리의 가정은 100% 틀린 것은 아니었다. 확인결과 Embedding Model의 성능이 높을수록 Domain Adaptation을 진행 후에도 전반적으로 높은 수치를 기록함을 알 수 있었다. 즉, 가장 높은 성능의 임베딩 모델이 Adaptation 후에도 가장 높은 성능을 기록한다고 말할 수는 없어도 일반적인 경향성은 따라간다고 말할 수 있다.

송준호

최재훈

문희선

김민식

현명준

가재준