G·Graph Daily Lab 전체 140회
추가 39 / 40 · 보충 · 약 12분

사람 승인 지점을 어디에 둘까

AI 에이전트의 모든 행동을 사람이 승인하면 느리고, 아무것도 승인하지 않으면 위험합니다. 행동의 종류와 위험으로 승인 지점을 정하는 법을 연습합니다.

팔란티어 온톨로지 II

배운 뒤 돌아올 회차

DAY 99에서 AIP Chatbot의 Action 도구를 ‘자동 실행’ 또는 ‘사용자 확인 후 실행’으로 설정할 수 있다고 했는데, 그 선택의 기준을 정리합니다.

시작하면 직접 풀기와 퀴즈 기록이 저장됩니다. 본과정 100회 진도와는 별도입니다.

이번에 더 배울 것

먼저 읽기와 쓰기를 나눕니다. 객체 조회나 함수 계산처럼 온톨로지를 바꾸지 않는 행동은 권한 범위 안에서 자동 실행해도 되돌릴 것이 없습니다. 쓰기는 다시 되돌리기 쉬운 것(내부 메모 추가)과 어려운 것(고객에게 보낸 알림, 외부 시스템으로 보낸 웹훅, 배송 취소)으로 나눕니다. 되돌리기 어렵거나 영향 범위가 큰 쓰기일수록 사람 확인을 둡니다.

팔란티어 문서에는 이 선택을 담을 장치가 있습니다. AIP Chatbot의 Action 도구는 자동 실행 또는 사용자 확인 후 실행으로 설정할 수 있고, AIP Logic 함수를 자동화할 때는 온톨로지 편집을 자동 적용하거나 사람 검토를 위해 보류(staged)할 수 있습니다. 어느 경우든 액션 타입의 제출 조건이 마지막 검사로 남습니다.

승인 지점이 너무 많으면 사람이 내용을 읽지 않고 누르는 습관이 생깁니다. 그래서 승인 화면에는 바꿀 객체, 바뀌기 전후 값, 근거(객체 ID·문서 ID)를 짧게 보여 주고, 금액·건수 같은 임계값을 넘을 때만 승인을 요구하는 방식도 씁니다. 액션 로그는 성공한 제출만 기록하므로, 반려한 제안과 그 이유는 별도 객체나 기록으로 남겨야 이후 평가에 쓸 수 있습니다.

작은 예제로 따라가기

1

‘지연 배송 목록 조회’: 읽기 → 자동 실행(요청자 권한 범위 안).

2

‘배송에 내부 메모 추가’: 되돌리기 쉬운 쓰기 → 자동 실행하고 액션 로그로 사후 검토.

3

‘고객에게 지연 안내 발송’과 ‘배송 경로 변경’: 되돌리기 어렵거나 외부에 영향 → 사용자 확인 후 실행 + 제출 조건.

COMPARE & EXPLAIN

승인 정책 세 가지 비교

하루 에이전트 제안 200건 가운데 쓰기가 60건이고 그중 외부 영향이 큰 것이 10건일 때, 각 정책에서 사람이 확인할 건수와 위험을 먼저 예상해 보세요.

확인 0건

빠르지만 잘못된 고객 알림이나 경로 변경 10건이 그대로 실행될 수 있습니다.

승인 지점은 읽기/쓰기, 되돌릴 수 있는지, 외부 영향의 크기로 정하고, 승인 화면에 근거를 보여 주며 반려 기록을 따로 남깁니다.

학습을 시작하면 새 문제를 직접 풀고 확인 퀴즈를 마친 뒤 선택한 본과정 회차로 돌아갑니다.