AI 보안에는 AI 애플리케이션 개발을 보호하고, 직원의 AI 사용을 통제하며, AI 기반 애플리케이션과 모델을 보호하는 데 사용되는 모든 자원이 포함됩니다.
이 글을 읽은 후에 다음을 할 수 있습니다:
글 링크 복사
인공지능(AI) 보안은 AI 배포에 대한 사이버 공격을 방지하고 안전한 동작을 보장하기 위한 통제의 집합입니다. 일반적인 사이버 보안이 IT 시스템과 디지털 데이터를 보호하는 것처럼, AI 보안은 모델 구축, 학습 데이터, 인터페이스 개발부터 다운스트림 애플리케이션 배포에 이르기까지 AI 라이프사이클을 보호합니다. AI 보안 기술, 프로세스, 관행에는 다음이 포함됩니다.
AI 도입이 급증하면서 AI 보안은 필수가 되었습니다. AI는 빠르게 도입되었습니다. McKinsey에 따르면 조직 내 생성형 AI 사용률은 2023년 33%에서 2024년 71%로 급증했습니다. 2025년에는 최대 78%의 조직이 최소 하나의 비즈니스 기능에서 AI를 사용하고 있다고 보고했습니다.
많은 조직에서 AI 도입의 급격한 증가는 기존 보안 역량을 크게 앞질렀습니다. AI는 조직의 공격면을 훨씬 더 복잡하게 만들었습니다. AI 시스템은 데이터 파이프라인, 모델 학습, 모델 호스팅, 프로토콜, API, 사용자 인터페이스, 플러그인, 에이전트 등 서로 맞물린 여러 계층으로 구성되며, 이 모든 요소를 보호해야 합니다.
예를 들어 고객 지원 봇이 프롬프트 삽입이나 기타 AI 특화 공격에 의해 조작될 경우, 민감한 직원 데이터나 영업 비밀이 유출될 수 있습니다. 공격자는 요청으로 모델을 과부하시키는 방식으로 AI 리소스를 과도하게 소비하거나 서비스 거부를 유발하는 방식으로 모델을 남용할 수 있습니다. 주요 AI 보안 위험과 모범 사례를 이해하고, 생성형 및 에이전틱 AI에 맞는 보안 접근 방식을 적용하면 조직이 이러한 종류의 공격을 방지하는 데 도움이 될 수 있습니다.
섀도우 AI는 IT 팀이나 보안 팀의 감독 없이 AI 모델 및 도구를 도입하는 것입니다. 섀도우 AI에는 두 가지 유형이 있습니다.
한 설문조사에 따르면, IT 의사 결정자의 85%는 직원들이 IT 팀의 평가 속도보다 빠르게 AI 도구를 도입하고 있다고 응답했습니다. 해당 설문조사에서 직원의 93%가 승인 없이 AI 도구에 정보를 입력하는 것으로 나타났습니다. 직원이 사용하는 도구에 대한 포괄적인 가시성이 없으면 독점 코드 또는 개인 식별 정보(PII)와 같은 중요한 회사 데이터가 요구되는 보안 기준을 충족하지 못하는 AI 서비스에 업로드될 수 있습니다.
대규모 언어 모델(LLM)은 많은 사람들이 사용하고, 때로는 조직 인프라에 임베드되어 있기 때문에 사이버 범죄자들에게 매력적인 표적이 됩니다. LLM의 OWASP 상위 10가지 위험 목록에는 다음과 같은 공격이 포함되어 있습니다.
상위 LLM 위험 전체 목록을 참고하세요.
AI를 대규모로 도입하면 규제 준수 및 법적 문제도 발생합니다. 규제가 심한 산업(금융 및 의료 등)에 속한 조직에서는 미국의 건강 보험 양도 및 책임에 관한 법(HIPAA), 유럽의 일반 데이터 규정(GDPR) 등 데이터 개인정보 보호 규정을 준수하지 않을 경우 엄중한 처벌을 받게 됩니다. AI는 주로 두 가지 방법으로 개인정보에 위험을 초래할 수 있습니다.
보안 상태는 공격을 완화하기 위한 시스템의 준비 태세입니다. 보안 상태를 효과적으로 관리하려면 위협과 취약점을 식별하고 평가하여 조치를 취하는 사전 예방적이고 총체적인 접근 방식이 필요합니다.
보안 상태 관리는 본질적으로 복잡하며, AI 때문에 이러한 복잡성이 가중됩니다. AI 시스템은 데이터, 모델, 인터페이스, API 및 종종 비동기 에이전트를 포괄하므로 AI 보안 상태 관리(AI-SPM)는 다면적인 문제가 될 수 있습니다. 조직에서는 일관성을 보장하고, 드리프트를 모니터링하며, 이상 징후를 감지하고 AI 위험을 전사적 위험 관리 체계에 통합해야 합니다. 조직에서는 기업 네트워크와 데이터의 보안 및 개인정보를 유지하면서 AI 도입을 촉진하는 데 도움이 되는 도구가 필요합니다.
IT 리더는 몇 가지 기본적인 방법을 지원하는 솔루션을 모색하여 AI 보안의 복잡성을 줄일 수 있습니다.
LLM 및 채팅 도구를 포함한 생성형 AI 사용을 보호하려면 계층화된 전략이 필요합니다. 조직은 사용 중인 생성형 AI 도구, 사용자가 해당 도구와 상호 작용하는 방식, 그리고 해당 상호 작용 결과물이 어떻게 되는지 파악해야 합니다.
몇 가지 모범 사례는 다음과 같습니다.
| 생성형 AI 위험 | 보안 모범 사례 |
|---|---|
| 섀도우 AI | 섀도우 AI 발견 |
| 프롬프트 삽입 | 모델 가드레일 |
| 학습 데이터 포이즈닝 | 액세스 제어, 암호화 |
| 개인 식별 정보 유출 | 데이터 손실 방지(DLP) |
AI 에이전트는 자율적으로 의사 결정하고, 외부 도구를 호출하며, 작업을 연결할 수 있는 AI 기반 프로그램입니다. AI 에이전트는 고유한 위험을 내포합니다. 에이전트는 세션 동안 조작되어 의도치 않은 작업을 실행하게 될 수 있습니다.
에이전틱 AI의 주요 위험은 다음과 같습니다.
다음과 같은 기본 원칙을 따르면 AI 에이전트를 보호하는 데 도움이 될 수 있습니다.
에이전틱 AI 보안의 핵심은 모델 컨텍스트 프로토콜(MCP) 보안입니다. 클래식 애플리케이션이 외부 API에 의존하듯, AI 에이전트도 외부의 데이터베이스와 도구에 접근하기 위해 MCP 서버에 의존합니다. MCP 및 MCP 보안에 대해 자세히 알아보세요.
AI 보안은 사이버 공격을 차단하고 AI 시스템의 무결성을 유지하기 위한 통제를 구현하는 것을 의미합니다. 그 목표는 초기 모델 개발과 데이터 학습부터 애플리케이션과 인터페이스의 최종 배포에 이르기까지 전체 AI 라이프사이클을 보호하는 것입니다.
섀도우 AI는 직원이 AI 도구를 사용하거나 개발자가 IT 또는 보안 팀의 공식적인 감독 없이 모델을 통합할 때 발생합니다. 이는 민감한 회사 데이터나 독점 코드가 보안 기준을 충족하지 않는 승인되지 않은 서비스에 업로드될 수 있는 가시성 격차를 초래합니다.
공격자는 프롬프트 삽입을 통해 내장된 지침을 무력화하거나 데이터 포이즈닝으로 학습 데이터를 오염시켜 모델 동작을 왜곡하는 등 여러 방법으로 LLM을 침해합니다. 또한 API 쿼리를 통해 독점 모델을 탈취하려 하거나, 컴퓨팅 자원을 소진시키기 위해 서비스 거부 공격을 시도할 수 있습니다.
조직은 승인되지 않은 도구를 식별하기 위해 모든 AI 트래픽을 파악하는 것을 포함한 계층적 전략을 구현해야 합니다. 주요 단계에는 민감한 정보 업로드를 차단하기 위한 데이터 손실 방지 적용, 액세스에 최소 권한 원칙 적용, 그리고 유해하거나 부적절한 프롬프트를 차단하기 위한 가드레일 사용이 포함됩니다.
Cloudflare AI Security for Apps는 모델 탈취와 프롬프트 삽입과 같은 주요 위협으로부터 공개 애플리케이션을 보호하는 데 도움을 줍니다. 또한 사용자 상호작용을 모니터링하여 프롬프트나 모델 출력에서 민감한 데이터가 우발적으로 노출되는 것을 방지합니다.