로컬에서 글로벌로 GraphRAG

대규모 텍스트 데이터 전체에 대한 종합적인 이해와 요약 성능을 혁신적으로 개선한 GraphRAG 기술을 소개합니다.

기존의 벡터 기반 검색 방식(RAG)은 특정 세부 정보 탐색에는 능숙하지만, 전체 코퍼스의 핵심 주제를 파악하는 글로벌 논리 구성에는 한계를 보였습니다.

이를 해결하기 위해 마이크로소프트 연구진은 대규모 언어 모델(LLM)을 활용하여 데이터로부터 지식 그래프를 추출하고, 이를 계층적 커뮤니티 단위로 요약하는 시스템을 구축했습니다.

연구 결과에 따르면, GraphRAG는 답변의 포괄성과 다양성 측면에서 기존 방식을 압도하며 복잡한 데이터 속에서 의미 있는 통찰을 도출하는 데 탁월한 성능을 발휘합니다.

이 기술은 수백만 토큰에 달하는 방대한 문서를 효율적으로 구조화함으로써 사용자가 데이터 전체를 관통하는 고차원적 질문에 대한 답을 얻을 수 있도록 돕습니다.

최종적으로 이 시스템은 오픈 소스로 공개되어 다양한 지식 관리 라이브러리와 결합될 수 있는 확장성을 갖추었습니다.