잘 구축된 검색 증강 생성(RAG) 파이프라인은 조직에서 휴면 데이터를 결정적인 비즈니스 동인으로 전환하는 데 도움이 될 수 있습니다.
이 글을 읽은 후에 다음을 할 수 있습니다:
글 링크 복사
검색 증강 생성(RAG)은 인공 지능(AI) 개발에 사용되는 기술로, 대규모 언어 모델(LLM)이 원래 학습에 포함되지 않은 내부 및 외부 데이터 소스(예: 타사 연구, 제품 문서 또는 기업의 내부 지식 베이스)에 액세스할 수 있도록 하여 LLM을 개선합니다.
RAG를 활용하면 팀은 동료를 방해하거나 단편화된 시스템을 일일이 검색하는 시간 낭비 없이, 자연어로 조직 내 권위 있는 지식과 외부 리소스를 질의할 수 있습니다.
LLM이 런타임 시 보강된 데이터를 사용하기 때문에환각 발생 가능성이 줄어들고, 모든 사용자가 동일한 진실의 근거에서 작업하게 됩니다. 결과적으로, 확실하고 신뢰할 수 있는 정보에 힘입어 LLM 정확도가 향상됩니다.
RAG는 기업이 OpenAI 또는 Anthropic과 같은 공급업체의 AI 모델을 강화하는 데 도움을 주며, 의도된 사용 사례에 대한 특정 지식으로 모델을 재훈련하는 데 필요한 추가 시간, 비용 및 기술 리소스 없이 가능합니다. 따라서 RAG는 LLM 개선을 민주화합니다.
다행히도 RAG 파이프라인을 구축하는 데에는 대규모 인프라나 심층 머신 러닝 전문 지식이 필요하지 않습니다. 따라서 쉽게 시작할 수 있습니다. 간단한 3단계 프로세스는 사용 사례 식별, 적절한 데이터 소스 선택 및 실제 RAG 파이프라인 생성으로 시작됩니다.
먼저, 자연어 프롬프트를 사용하여 액세스하는 데 가장 도움이 되는 데이터 소스를 결정합니다. 팀에서 답변을 얻기 위해 자주 참조하는 리소스, 병목 현상이 자주 발생하는 시스템, 또는 동일한 질문이 반복적으로 발생하는 프로세스를 포함하여 영향이 큰 마찰 지점에 집중하세요.
가장 유망한 RAG 활용 사례를 찾기 위해, 내부 팀에게 다음과 같은 질문을 해보세요.
생성형 추론을 내부 및 외부 지식과 결합하여 실질적인 문제를 해결하고, 컨텍스트 전환을 줄이며, 반복 작업을 제거하고, 팀 간 일관성을 향상시킬 수 있는 RAG 활용 사례를 우선적으로 고려하세요.
RAG 시스템은 검색하는 데이터의 품질에 따라 성능이 결정됩니다. 따라서 사용 가능한 데이터 소스의 품질, 완전성, 관리, 구조는 응답 품질에 직접적인 영향을 미칩니다.
RAG에 적합한 데이터는 다음 조건을 충족합니다.
다음과 같이 노이즈 또는 불일치를 유발하는 데이터 소스는 피하세요.
내부 이해 관계자 및 IT 부서와 협력하여 각 데이터 소스를 목록화하고, 중복을 제거하며, 지속적인 관리 책임자를 지정하세요.
다음으로, 데이터 세트를 시맨틱 검색에 적합한 구조로 처리하고 구성해야 합니다. 일반적인 RAG 워크플로는 수집, 임베딩, 벡터 데이터베이스 저장, 쿼리 검색 및 응답 생성의 다섯 가지 부분으로 이루어져 있습니다.
1. 수집
공유 리포지토리, 스토리지 버킷 또는 콘텐츠 시스템에서 관련 파일 및 문서를 수집하여 시작하세요. 다음 사항에 집중해야 합니다.
2. 임베딩
BGE 임베딩 모델과 같은 임베딩 모델을 사용하여 각 텍스트 청크를 의미론적 의미를 포착하는 숫자 벡터로 변환합니다.
3. 벡터 데이터베이스 스토리지
임베딩 및 관련된 모든 메타데이터를 Cloudflare Vectorize 등의 확장 가능한 벡터 데이터베이스에 저장합니다. 이를 통해 대규모 기술 자료에 대한 쿼리와 필터링을 효율적으로 수행할 수 있습니다.
4. 쿼리 검색
사용자가 프롬프트를 제출하면 시스템은 쿼리를 벡터로 변환하고, 벡터 데이터베이스에서 의미상 유사한 적절한 청크를 검색하고, 메타데이터 기반 필터를 적용하여 검색을 미세 조정합니다(예: 역할 또는 부서에 따라 특정 정보에 대한 액세스 제한).
5. 응답 생성
마지막으로, 검색된 청크는 LLM에 전달되기 전에 추가 컨텍스트로서 프롬프트에 삽입됩니다. LLM은 이 컨텍스트를 사용하여 내부 및 외부 데이터에 기반한 의미 있고 정확한 응답을 생성합니다.
가치 있는 RAG 파이프라인을 구축하는 것은 전사적인 노력입니다. 단, 실행을 주도하고, 데이터 파이프라인, 벡터 데이터베이스 확장 및 액세스 제어와 같은 인프라를 관리하고, 시스템을 통합하는 작업은 IT에 의존해야 합니다.
하지만 IT 부서에서만 이 프로세스를 담당할 수는 없습니다. IT, 주제 전문가 및 비즈니스 이해 관계자를 포함하여 여러 부서의 팀을 조정하는 것부터 시작하세요. 이 팀들이 힘을 모아 사용 사례와 신뢰할 수 있는 데이터 소스를 식별하고, 콘텐츠 권한 표준을 정의하며, 데이터 세트의 정확성과 최신 상태 유지를 위해 소유자를 지정해야 합니다.
사용자 역할 또는 사업 부서별로 액세스 제어를 적용하여 민감한 데이터에 대한 접근을 제한하고, 시스템 전반에서 암호화 및 규제 준수 보호 장치가 마련되도록 합니다.
파일럿으로 시작하고, 결과에 따라 반복 개선한 다음, 팀 전체로 확장합니다.
처음부터 성공 메트릭을 프로세스에 구축하여 RAG 시스템 효율성과 비즈니스 가치를 평가하세요.
특히 다음과 같은 KPI를 기준으로 시스템을 평가해야 합니다.
RAG 평가에는 정확성을 확인하기 위해 종종 휴먼인더루프(human-in-the-loop) 유효성 검사가 포함됩니다. RAG 파이프라인 구현을 점진적으로 개선하려면 사용자 피드백을 지속적으로 수집하고, 쿼리 및 검색 로그의 성능 지표를 분석하며, 콘텐츠 건전성을 검토하고, 비즈니스 목표 대비 진행 상황을 평가해야 합니다.
RAG 파이프라인을 수동으로 구축하려면 스토리지, 벡터 데이터베이스, 임베딩 모델, LLM 및 사용자 지정 인덱싱/검색 로직을 연결해야 하며 데이터 변경에 따라 시스템을 유지 관리해야 합니다. 시간과 협업이 필요하며, 복잡한 작업이기 때문에 팀이 다른 중요한 프로젝트에 집중하지 못하게 될 수도 있습니다. 이런 문제 때문에 일부 조직에서는 잠재적 이점에도 불구하고 RAG 도입이 비현실적으로 여겨질 수 있습니다.
Cloudflare AI Search(구 AutoRAG)가 도움을 드릴 수 있습니다.
AI Search는 Cloudflare 개발자 플랫폼을 기반으로 구축된 완전 관리형 RAG 파이프라인입니다. 단 4단계만으로 사용자는 회사 웹사이트, 전자 상거래 제품 카탈로그 및 개발자 문서와 같은 데이터 소스를 연결할 수 있습니다. AI Search는 Vectorize에서 데이터 수집, 마크다운 변환, 청크, 임베딩, 저장을 처리합니다. 그런 다음 의미 검색을 수행하고 Workers AI를 사용하여 응답을 생성합니다.
AI Search는 RAG 시스템 내에서 내부 데이터 소스에 안전하고 적절하게 액세스하도록 보장하는 동시에 확장, 스토리지, AI 추론을 자동화하여 RAG 파이프라인을 구축해야 하는 인프라 부담을 덜어줍니다. 또한, AI Search는 백그라운드에서 지속적으로 데이터를 재색인하여 내부 소스가 업데이트될 때 답변을 최신 상태로 유지합니다.
귀사의 데이터는 막대한 전략적 자산입니다. 보안성이 갖춰진 RAG 파이프라인을 구축하면 기업의 고유한 가이드라인, 프로세스, 지식 기반을 기업용 LLM에 통합하여 팀원과 고객이 해당 데이터를 활용할 수 있게 되고, 이는 곧 귀사와 시장의 차별점이 됩니다.
간단히 말해, RAG는 회사 내부 지식과 승인된 서드 파티 리소스를 활용하여 인기 모델을 강화함으로써 실시간 AI 우위를 확보하게 해줍니다.
수동으로 구축하든 AI Search를 사용하든, 적절한 사용 사례를 먼저 설정하고, 고품질 데이터를 큐레이션하며, 협업을 통해 빠르고 정확하며 신뢰할 수 있는 답변을 제공하세요.
시작할 준비가 되셨나요? 간단한 4단계로 자체 내부 RAG를 구축하세요.
검색 증강 생성(RAG)은 대규모 언어 모델(LLM)을 개선하기 위한 방법으로, 원래 학습 데이터에 포함되지 않았던 내부 및 외부 데이터 소스에 대한 접근 권한을 제공합니다.
RAG를 통해 팀은 자연어 쿼리를 사용하여 조직 내 지식과 외부 자료를 검색할 수 있습니다. 이는 동료의 업무 방해를 줄이고, 수동 검색에 드는 시간을 절약하는 데 도움이 됩니다. 또한 전체 재교육에 필요한 시간, 비용 또는 기술 리소스 없이 OpenAI 또는 Anthropic과 같은 공급업체의 AI 모델 개선을 민주화해줍니다.
RAG 파이프라인 구축 단계는 잠재적 활용 사례 구상, 적절한 데이터 소스 식별, 실제 RAG 파이프라인 구축으로 이루어집니다. 파이프라인 구축은 콘텐츠 수집, 임베딩 모델을 사용한 텍스트의 벡터 변환, 벡터 데이터베이스 내 임베딩 및 메타데이터 저장, 쿼리 검색 활성화, 응답 생성 지원을 포함합니다.
영향력이 큰 RAG 사용 사례에는 셀프 서비스 청구 지원, 고객 대상 정책 지원, HR 지침 준수 지원, 영업 RFP 지원, 인터랙티브 고객 온보딩 가이드 제작 등이 있습니다. 이러한 사용 사례는 실질적인 문제를 해결하고, 반복적인 작업을 줄이며, 팀 전체의 일관성을 향상시키는 데 도움이 될 수 있습니다.
RAG에 적합한 데이터 소스는 정확하고, 정기적으로 관리되어야 하며, 마크다운 파일, PDF, HTML 문서, JSON 파일 등과 같이 논리적인 섹션으로 분할할 수 있을 정도로 구조화되어야 합니다. 제품 FAQ 또는 내부 프로세스 가이드와 같은 일반적인 질문에 대해서도 답변을 제공해야 합니다.
일반적인 RAG 워크플로는 수집, 임베딩, 벡터 데이터베이스 저장, 쿼리 검색 및 응답 생성의 다섯 가지 부분으로 구성됩니다.
RAG 파이프라인의 성공 여부는 검색 정확도, 응답 관련성 및 사실성, 대기 시간, 사용자 채택 및 만족도, 그리고 데이터 거버넌스와 같은 핵심 성과 지표(KPI)를 사용하여 측정할 수 있습니다. 지속적인 사용자 피드백 및 성능 지표 분석은 시간이 지남에 따라 구현 개선에 도움이 될 수 있습니다.
BGE 임베딩 모델과 같이, 임베딩 모델은 텍스트 묶음을 의미론적 의미를 담아내는 수치 벡터로 변환합니다. 이러한 벡터는 효율적인 쿼리 및 필터링을 위해 벡터 데이터베이스에 저장됩니다.
Cloudflare AI Search는 Vectorize에서 수집, 청크, 임베딩, 저장을 자동화하는 완전 관리형 RAG 파이프라인입니다. Workers AI를 통해 시맨틱 검색 및 응답 생성을 처리하여 수동 인프라 관리의 필요성을 없애줍니다.