1. 한눈에 보는 핵심 요약 (Executive Summary)
생성형 AI와 멀티모달 모델의 발전으로 텍스트 및 이미지 분석을 처리하는 챗봇 도입이 보편화되었습니다. 그러나 기업의 유지보수, 주문, 결제 등 핵심 트랜잭션을 수반하는 실무 영역에서 AI 에이전트를 도입할 때 직면하는 본질적인 병목은 “대화 처리 능력”이 아니라 “통제와 책임(Control & Accountability)”의 문제입니다.
많은 조직이 모델의 텍스트 생성 능력이나 높은 확신도(Confidence Score)를 비즈니스 실행 권한으로 오인하여 모델을 트랜잭션 API에 직접 연결하는 실수를 범합니다. 이로 인해 모델의 비결정론적(Nondeterministic) 특성이 데이터베이스 원장과 핵심 기록 시스템에 오염을 일으키는 치명적인 엔지니어링 결함이 발생합니다. 본 아키텍처는 “AI는 추론하고, 검증된 서비스가 실행하며, 거버넌스가 적용된 데이터로 결과를 측정한다(AI reasons; authorized services act; governed data measures)”는 원칙을 기반으로, AI 추론 계층과 비즈니스 권한 인가 계층을 완전히 격리하는 3계층(Three-Plane) 아키텍처 패턴을 제시합니다.
2. 핵심 개념 및 아키텍처 쉽게 이해하기 (Core Concepts)
본 아키텍처는 단일 챗봇이 모든 권한을 쥐고 행동하는 모놀리식 방식을 철저히 지양하며, 책임을 기준으로 명확히 분리된 세 가지 논리 평면(Logical Planes)을 구성합니다.
1) 3대 논리 평면 (Three Planes Architecture)
- 경험 및 추론 평면 (Experience and Reasoning Plane): 사용자 입력(텍스트, 사진 등)의 디지털 접수, 비정형 데이터 해석, 그라운딩(Grounding) 기반의 전문가 추천 및 요청별 조율(Per-request coordination)을 담당합니다. 이 계층의 산출물은 오직 ‘제안(Proposal)’일 뿐, 직접 시스템 데이터를 변경할 권한을 갖지 않습니다.
- 신뢰 실행 평면 (Trusted Action Plane): 결정론적 정책 검증(Deterministic Policy Checks), 명시적 비즈니스 권한 인가, 멱등성(Idempotency)이 보장된 내구성 있는 명령 실행, 파트너 시스템 어댑터 연동, 그리고 사람으로의 에스컬레이션(Human Handoff)을 처리합니다. 오직 이 평면만이 정식 정책과 권한을 확인한 뒤 레코드를 수정할 수 있습니다.
- 운영 인텔리전스 평면 (Operational Intelligence Plane): 정제된 이벤트 데이터 수집, 비즈니스 결과 분석, 모델 평가 증적 관리 및 피드백 루프를 담당합니다. 개인정보 원문을 복제하지 않고 상관관계 ID(Correlation ID) 및 참조 키 기반으로만 데이터를 연결합니다.
2) 단일 의사결정 및 증적 체인 (Decision & Evidence Chain)
시스템은 다음의 단방향 체인을 엄격하게 준수합니다:
$$\text{요청} \rightarrow \text{추천 및 출처 제시} \rightarrow \text{서버 권한 인가} \rightarrow \text{명령 발행} \rightarrow \text{실행 결과} \rightarrow \text{완료 증적} \rightarrow \text{운영 측정}$$
3) 5대 책임 역할 분리 (수리 접수 시나리오 비유)
기존의 취약한 에이전트가 “사진을 보고 바로 시공 업체를 예약하고 송장을 발행하는 독단적인 상담원”이라면, 본 아키텍처는 철저한 “분업화된 책임 승인 프로세스”로 작동합니다:
- 접수 (Intake): 사진 활용 동의 여부를 확인하고 규칙 기반으로 긴급 여부를 분류합니다. 동의가 없다면 사진 분석 파이프라인은 즉시 중단됩니다.
- 진단 및 부품 (Diagnosis & Parts): 승인된 지침 매뉴얼과 자산 이력을 검색하여 결함 및 필요 부품을 구조화된 데이터로 ‘추천’합니다. 모델의 확신도는 단순 참고용일 뿐 최종 안전 진단이 아닙니다.
- 일정 배정 (Scheduling): 모델의 직관이 아닌, 확인된 자격, 부품, 긴급도, 정책 기준을 충족하는 슬롯만을 선택하여 트랜잭션을 요청합니다.
- 완료 검증 (Completion Verification): 계약자 제출 증적을 점검하고 결제 지침을 준비하되, 결제 승인은 재무 시스템 어댑터와 내부 결재선 한도를 통해서만 통과합니다. 모델은 결제 권한을 가질 수 없습니다.
- 복지 및 위험 신호 (Wellbeing Signal): 이상 징후 반복 시 최소한의 제한된 신호만을 전문 담당자에게 전달하며, 취약성 여부나 후속 조치를 AI가 자체 판단하지 않습니다.
3. 엔터프라이즈 아키텍트의 실무 인사이트 (“So What?”)
클라우드 인프라 & 비용 (Azure / Cloud Infrastructure)
- 비결정론적 재시도로 인한 비용 누수 방지: 비동기 요청-응답(Asynchronous Request-Reply) 패턴과 Azure Service Bus를 도입하여 느린 파트너 API나 외부 서비스 응답 대기로 인한 고비용 LLM 컨테이너 유휴 시간을 제거합니다.
- 오케스트레이션 상태 저장소 분리: Microsoft Foundry의 관리형 호스팅 에이전트 세션에 의존하지 않고, Azure Container Apps/Functions 및 별도의 내구성 상태 저장소(Durable Store)에 비즈니스 작업 항목 상태를 보관함으로써 락 만료나 세션 단절 시 발생하는 불필요한 LLM 추론 토큰 재발행을 방지합니다.
보안 & 아키텍처 연동 (RAG & LLMOps Integration)
- 프롬프트 인젝션 방어와 서버 사이드 인가(Server-side Authorization): 텍스트, 이미지, 검색된 RAG 문서, 외부 파트너 메시지는 모두 잠재적 공격 벡터입니다. 모델이 출력한
"status": "approved"는 단순 텍스트일 뿐 권한이 아닙니다. 반드시 Azure API Management 및 백엔드 정책 엔진에서 작업 항목 ID와 서명된 비즈니스 룰을 대조 검증해야 합니다. - 최소 권한 도구 노출 (Tool Narrowing): 에이전트에 포괄적인 HTTP 요청 권한이나 직접 DB 쿼리 권한을 부여하지 않고,
propose_slots_for_work_item과 같이 매개변수와 범위가 극도로 제한된 전용 어댑터만 노출해야 합니다. - 모니터링 데이터 격리와 프라이버시(Privacy by Design): Azure Monitor 및 Application Insights로 수집되는 원격 분석(OpenTelemetry) 데이터에 프롬프트 원문, 사용자 주소, 사진 등 개인정보(PII)를 직접 복제해 넣지 않고, 상관관계 ID(Correlation ID)와 작업 번호 참조값만 전송하여 데이터 컴플라이언스 위험을 선제적으로 차단합니다.
- 페일 클로즈(Fail-Closed) 및 비상 정지(Kill Switch): 인증 확인 실패, 정책 버전 불일치, 외부 연동 장애 시 시스템은 쓰기 작업을 전면 차단(Fail-Closed)하고 수작업 큐로 넘겨야 하며, 오작동 감지 시 자동 쓰기를 즉시 중단할 수 있는 기능별 비상 정지 스위치를 필수적으로 배치해야 합니다.
실무 적용 가이드 (Enterprise Implementation Checklist)
- [ ] 모델의 트랜잭션 API 직접 호출 차단: LLM/에이전트가 데이터 쓰기(CUD) 권한을 가진 엔드포인트를 직접 호출하지 못하도록 API Management 단에서 게이트웨이 인가 정책을 분리했는지 확인할 것.
- [ ] 모델 출력 스키마의 2차 비즈니스 검증 구현: 정형 JSON 스키마로 출력된 모델 응답이라 하더라도, 백엔드 비즈니스 로직에서 실제 ID 존재 여부, 권한 범위, 규칙 부합성을 재검증하는 검증기를 구현할 것.
- [ ] 비동기 큐 기반 멱등성 어댑터 적용: Azure Service Bus를 사용하여 작업 명령을 큐잉하고, 중복 메시지 수신 시에도 동일 트랜잭션이 중복 처리되지 않도록 멱등성(Idempotency) 로직을 적용할 것.
- [ ] 원격 분석 내 민감 정보 필터링: Application Insights 및 OpenTelemetry 로깅 시 프롬프트 및 사용자 이미지를 제외하고 고유 식별자(Correlation ID)만 남기도록 마스킹 처리할 것.
- [ ] 에이전트 쓰기 작업 비상 킬 스위치(Circuit Breaker) 구축: 이상 탐지 시 관리자가 즉각적으로 에이전트의 자동 승인/예약/발행 트랜잭션을 중단하고 수동 모드로 전환할 수 있는 차단기를 마련할 것.
References:
- The Model Isn’t the Boss: An Azure Architecture for Accountable AI Agents (https://techcommunity.microsoft.com/blog/azurearchitectureblog/the-model-isn%E2%80%99t-the-boss-an-azure-architecture-for-accountable-ai-agents/4571335)