AI 에이전트를 효과적으로 구축하고 그 결과물을 관리하는 방법을 안다면, AI 에이전트는 인간 팀이 더 많은 성과를 달성하도록 지원할 수 있습니다.
이 글을 읽은 후에 다음을 할 수 있습니다:
글 링크 복사
AI 에이전트는 인공 지능의 “제3의 물결”로, 예측 AI 및 생성형 AI(GenAI)에서 또 한 번 진화한 주인공입니다. 이러한 AI 기반 프로그램은 단순한 채팅 기능만 제공하는 것이 아니라, 직접 행동합니다. 특히 AI 에이전트는 자율적으로 환경을 감지하고, 결정을 내리며, 작업을 실행할 수 있습니다.
비즈니스 리더와 중간 관리자에게 AI 에이전트는 새로운 팀 구성원과 같습니다. 이들은 팀이 더 적은 리소스와 더 짧은 시간 안에 더 많은 작업을 완료하도록 도울 수 있습니다. 예를 들어, 관리 업무 지원, 팀 협업 개선, 고객 경험 및 개인화 향상에 도움을 줄 수 있습니다.
AI 에이전트를 구축할 수 있는 AI 개발 분야는 에이전틱 AI 로 알려져 있습니다. AI 에이전트는 모델 컨텍스트 프로토콜(MCP)과 같은 표준을 사용하여 작업을 완료하는 데 필요한 외부 도구 및 데이터 소스에 연결할 수 있습니다.
하지만 AI 에이전트는 외부와 단절된 상태로 존재할 수 없습니다. 본질적으로 자율성을 갖추고 있지만 다른 팀 구성원과 마찬가지로 리더십, 관리 및 감독이 필요합니다. 다른 팀원과 마찬가지로, 원하는 비즈니스 결과를 얻으려면 그들을 기존 비즈니스 프로세스 및 워크플로우에 통합하여 조직의 전략적 목표를 지원하고 목표 달성을 방해하지 않도록 해야 합니다.
휴먼-인-더-루프 방식을 활용한 효과적인 AI 에이전트 관리는 책임감 있는 AI를 가능하게 합니다. 에이전트가 의도한 결과물에 집중할 수 있도록 다음 전략을 활용하세요.
AI 에이전트가 사용하는 데이터는 반드시 고품질이어야 합니다. 에이전트는 오래되고 부정확한 정보를 가져오더라도 그것이 표준이라고 잘못 생각할 것입니다. 날짜 또는 재무 데이터와 같이 형식이 다른 데이터의 스프레드시트 또는 목록도 에이전트에게 혼동을 줄 수 있습니다.
에이전트 반복에도 동일한 사고방식이 적용됩니다. 에이전트는 제공된 출처를 기반으로 판단합니다. 이때 별도의 매개변수가 없다면, 적절한 해결책을 찾기 위해 인터넷 전체를 뒤질 수 있으며, 이 과정에서 잘못된 정보가 포함될 가능성도 있습니다. 기업은 에이전트가 접근할 수 있는 범위를 제한하여 이를 방지할 수 있습니다.
AI 에이전트는 마치 신입 사원과 같습니다. 만약 회사 규칙과 목표를 배우지 못한다면, 쉽게 이를 위반할 수 있습니다.
시스템 프롬프트는 에이전트의 출력을 원하는 결과에 맞추어 제한하는 데 도움을 줍니다. 시스템 프롬프트는 에이전트의 페르소나, 수행해야 할 작업 지침, AI가 준수해야 하는 지침과 같은 컨텍스트를 통해 에이전트의 동작을 정의합니다. 시스템 프롬프트에는 초점 영역, 어조 및 출력 예제와 같은 요소도 포함될 수 있습니다.
이 지침을 최대한 명확하고 구체적으로 작성하세요. 예를 들어, '강력하고 권위 있는 어조와 친근한 접근 방식'처럼 모순적인 요구는 에이전트를 혼란에 빠트릴 수 있습니다. 마찬가지로, 에이전트에게 특정 주제에서 “사고 리더”라고 지칭하는 것은 너무 포괄적이어서 해석의 여지를 지나치게 많이 남깁니다.
비즈니스용 AI 에이전트는 단순 업무 처리에 가장 적합합니다. 일반적으로 더 복잡한 작업에서는 여러 에이전트가 서로를 검토하고 지원하는 역할을 수행해야 합니다. 또한, 에이전트는 요청받은 작업을 수행할 수 있어야 합니다. 예를 들어, 에이전트가 재무 데이터에 접근할 수 없다면 예산 예측을 요청하는 것은 소용없는 일입니다.
레이트 리미팅은 AI 에이전트가 잘못된 동작을 너무 자주 수행하지 않도록 방지하는 데 도움이 될 수 있습니다. 예를 들어, 레이트 리미팅은 에이전트가 서비스에 반복적으로 로그인하거나 민감한 사용자 데이터에 접근하는 것을 막을 수 있습니다.
에이전트는 인간 직원과 유사하므로 적절한 인증 및 권한 부여 프로세스를 따라야 합니다. 에이전트가 주장하는 신원과 일치하는지 클라이언트 자격 증명과 안전한 암호화 키를 사용해 인증하세요.
에이전트가 모든 것에 액세스할 필요는 거의 없습니다. 에이전트를 특정 목적에 맞춘 제한된 접근 권한으로 집중시키고, 리소스, 민감한 데이터, 최근 활동에 대한 권한을 조정하세요. 예를 들어, 에이전트에게 읽기 권한만 주고 쓰기 권한은 주지 않아서 파일을 수정하지 못하게 할 수 있습니다.
개발자는 MCP 서버에 대한 인증 및 권한 부여 체계를 구성하여 범위와 권한을 정의하고 적용함으로써 에이전트가 허용된 작업만 호출하도록 할 수 있습니다. MCP 클라이언트는 최종 사용자가 다른 서비스에 대한 액세스 권한을 부여하도록 프롬프트하는 에이전트를 구축할 수도 있습니다. 요청이 이상하거나 불필요하다고 판단되면 사용자는 해당 액세스를 제한하면 됩니다.
마찬가지로 에이전트가 "상시 작동"해야 하는 경우는 드뭅니다. 따라서 프로그램에 시간 제한이 적용되도록 하는 것이 좋습니다. 예를 들어, 예정된 발표에 대한 소셜 미디어 게시글을 작성하는 데 에이전트를 사용하는 경우, 관련 뉴스를 파악하고 이전 콘텐츠의 어조를 분석하여 적절한 게시글을 작성하는 데에는 짧은 시간만이 필요합니다. 접근 시간 제한은 잠재적인 사이버 보안 위험도 감소시킵니다.
오픈 웹 애플리케이션 보안 프로젝트(OWASP)는 웹 애플리케이션 보안 개선에 주력하는 국제 비영리 단체입니다. OWASP 톱 10 보고서에 포함된 대규모 언어 모델(LLM)에 대한 위험 중 하나는 과도한 에이전시입니다.
LLM 기반 에이전트는 종종 독립적인 에이전시를 가지며, 프롬프트에 응답하여 자율적으로 조치를 취합니다. 하지만 에이전시를 과도하게 사용하면 문제가 발생할 수 있습니다. 예를 들어, 에이전트가 파일을 삭제하거나, 민감한 정보를 공유하거나, 실수로 다른 운영 프로세스를 중단할 수 있습니다.
과도한 에이전시를 방지하기 위해 개발자는 플러그인 및 도구의 기능, 권한 및 자율성을 제한할 수 있습니다. 예를 들어, 메시지 전송 또는 채팅 완료와 같은 항목에 대해 레이트 리미팅을 사용할 수 있습니다. OAuth를 통한 권한 부여 및 인증은 과도한 에이전시로부터 보호하는 또 다른 효과적인 전략이며, 부정적인 영향 완화를 위해 특정 작업에 대한 사람의 승인을 요구하는 것 또한 마찬가지입니다.
직원들은 AI 에이전트의 내부 작동 방식에 대해 지식 수준이 다를 수 있으며, 때로는 단지 최종 결과만 볼 수도 있습니다. 에이전트가 모든 팀 구성원을 지원하기 위한 것이라면 사용하기 쉬워야 합니다.
AI 에이전트가 이미 수행할 수 있는 것을 고려하고, 방해되거나 불필요한 단계는 제거하세요. 규칙 및 지침을 정기적으로 검토하면 에이전트 시스템의 불필요한 영역을 찾아내는 데 도움이 됩니다.
AI 에이전트 관리는 퍼즐의 한 부분일 뿐이지만, 비즈니스에 AI 에이전트를 성공적으로 구현하려면 기존 워크플로우에 자연스럽고 편안하게 통합해야 합니다. 이러한 전략은 원활한 통합과 지속적인 운영을 용이하게 하는 데 도움이 될 수 있습니다.
조직 내 AI 에이전트의 활용도와 영향력을 확대하려면, 성과 추적이 AI 에이전트 관리 전략의 핵심 요소가 되어야 합니다. 다음과 같은 지표가 포함될 수 있습니다.
직원들은 훌륭한 피드백의 원천이기도 합니다. 에이전트를 꾸준히 사용하고 현장 경험이 풍부한 이들은 성공 사례와 잠재적 어려움을 공유하고, 벤치마크를 제시하며, 다른 사람들이 AI 에이전트를 보다 쉽고 편리하게 사용 및 관리할 수 있도록 실질적인 예를 제공할 수 있습니다.
관리자는 인간 직원을 모니터링하고 정기적인 성과 평가를 제공하는 데 익숙합니다. 에이전트와 관련해서도 마찬가지로 평가, 추적 및 오류 분석을 지속적으로 수행하여 에이전트 성과를 모니터링해야 합니다. 이는 일반적인 실수를 파악하고 부정확하거나 비효율적인 에이전트의 '디버깅'을 돕기 위함입니다.
Cloudflare 개발자 플랫폼에는 AI 기반 에이전트를 구축 및 배포하고 원활하게 실행할 수 있도록 유지하는 도구가 있습니다. 특히 유용한 도구는 다음과 같습니다.
Cloudflare에서 AI 에이전트를 실행하면 비용을 절감할 수 있습니다. Cloudflare는 에이전트가 대기하는 시간이 아닌, 연산 시간(에이전트가 생각하는 시간)에 대해서만 요금을 부과합니다.
AI 에이전트가 어떻게 시간을 절약하고 생산성을 향상시키는지 알아볼 준비가 되셨나요? 여기에서 첫 번째 에이전트를 빌드하세요.
AI 에이전트는 자율적으로 작동하도록 설계되었으며, 비즈니스 팀이 더 적은 리소스와 시간으로 더 많은 작업을 완료하도록 돕습니다. 이들은 관리 업무 지원, 팀 협업 증진, 고객 경험 향상에도 도움을 줄 수 있습니다.
AI 에이전트를 효과적으로 관리하려면 관리자는 고품질 데이터를 활용하고 시스템 프롬프트를 통해 명확한 규칙, 목표 및 경계를 설정해야 합니다. 간단한 작업부터 시작하고, 레이트 리미팅을 활용하며, 전략적인 인증 및 권한 부여 프로세스를 개발하세요.
AI 에이전트를 성공적으로 통합하려면, 워크플로우 감사를 실시하고, 소규모 구현부터 시작하여 점진적으로 사용을 확대해야 합니다. 직원에게 교육 및 리소스를 제공하고, 팀 커뮤니케이션을 장려하며, 사람이 에이전트의 결정을 평가하는 '휴먼-인-더-루프' 워크플로우를 통합하세요.
완료율, 에이전트가 작업을 완료하기 위해 취한 단계 수, 절약된 시간 등 여러 지표를 추적하여 AI 에이전트 관리의 성공 여부를 측정합니다. 정확성 또한 주요 지표이며, 이는 에이전트가 지침을 준수했는지, 그리고 사람이 조정을 해야 했는지 확인하는 것과 관련됩니다.
주요한 위험 중 하나는 과도한 에이전시로, 이는 에이전트가 지나치게 독립적으로 행동할 때 발생합니다. 파일을 삭제하거나, 민감한 정보를 공유하거나, 운영 프로세스를 중단하는 것 등이 대표적인 예입니다. 에이전트의 기능, 권한 및 자율성을 제한하고, 레이트 리미팅 및 인증을 사용하여 이러한 위험을 완화할 수 있습니다.
Cloudflare 개발자 플랫폼은 AI 에이전트 구축 및 배포를 위한 다양한 도구를 제공합니다. 여기에는 전 세계에 분산된 컴퓨팅 성능을 위한 Cloudflare Workers AI, 안전한 실행 환경을 위한 Cloudflare 컨테이너/샌드박스, 확장 가능하고 안전한 배포를 위한 Cloudflare Agents SDK가 포함됩니다. Cloudflare는 또한 보안 인증을 가능하게 하는 MCP 서버 및 포털과 서버 구성을 위한 단일 포털을 제공합니다.