FireNavi KPI & Evaluation 설계서
FireNavi의 성공은 "앱이 작동했는가"가 아니라 "실제 대피 안전성과 운영 대응력이 개선되었는가"로 판단한다. 기준선을 설정하고, 핵심 KPI 10종을 정의하고, Go / Conditional Go / No-Go 기준으로 성과를 검증하는 재난안전 성과 평가 체계를 설계한다.
실습 마지막 단계. 지금까지 설계한 온톨로지·Agent·워크플로가 실제 재난 대피 현장에서 "안전을 얼마나 개선했는가"를 측정 가능한 숫자로 증명해야 한다. 이 페이지는 그 성과 검증의 마지막 설계서다.
1 Evaluation의 목적
FireNavi의 성공은 앱의 작동 여부가 아니라 실제 대피 안전성과 운영 대응력의 개선으로 판단한다. 평가는 다음 질문에 답할 수 있어야 한다.
- 대피 완료 시간이 실제로 줄었는가
- 특정 출구로의 쏠림이 완화되었는가
- 반복 정체 구역의 병목 위험이 감소했는가
- 관리자의 상황 판단이 빨라졌는가
- 안전요원이 적절한 위치에 배치되었는가
- 취약계층에 대한 지원이 개선되었는가
- 훈련 결과가 다음 개선으로 이어지는가
2 기준선(Baseline) 설정
개선을 증명하려면 AI 도입 이전의 상태를 먼저 측정해야 한다. 아래 6가지를 기준선으로 확보한다.
기존 대피 완료 시간
전체 인원이 안전구역에 도착하기까지의 평균 시간
출구별 쏠림 비율
특정 출구로 대피 인원이 집중되는 비율
병목 발생 지점 수
반복적으로 정체가 발생하는 구역의 개수
관리자 대응 시간
위험 발생 후 확인·조치를 시작하기까지의 시간
안전요원 배치 시간
지시 후 실제 개입 지점에 도착하기까지의 시간
취약계층 지원 시간
지원 필요 대피자가 실제 도움을 받기까지의 시간
3 핵심 KPI 10종
기준선 대비 개선을 측정하는 핵심 지표 10종이다. 아래 카드의 값은 목표 수치, 라벨은 KPI 명칭이다. 각 KPI의 정의와 목표는 이어지는 표에서 확인한다.
KPI 목표 대시보드
KPI 정의 & 목표
| # | KPI | 정의 | 목표 |
|---|---|---|---|
| 1 | 대피 완료 시간 | 경보 발령부터 전체 대피자가 안전구역에 도착하기까지의 시간 | 기존 대비 10~20% 단축 |
| 2 | 출구별 분산률 | 대피 인원이 여러 출구로 고르게 분산된 정도 | 최대 집중 출구 비율 20~30% 감소 |
| 3 | 병목 위험 감소율 | 병목 발생 횟수 및 위험 점수의 감소율 | 주요 병목지점 30% 이상 감소 |
| 4 | 관리자 알림 확인 시간 | 알림 발생 후 관리자가 확인하기까지의 시간 | 1분 이내 확인 |
| 5 | 안전요원 배치 시간 | 지시 후 실제 개입 지점에 도착하기까지의 시간 | 기존 대비 20% 단축 |
| 6 | 대체경로 수용률 | AI가 추천한 대체경로를 실제로 따른 대피자 비율 | 60% 이상 |
| 7 | 위험구역 체류 인원 | 위험 및 위험 접근 구역에 잔류한 인원 | 기존 대비 30% 감소 |
| 8 | 취약계층 지원 완료율 | 지원이 필요한 대피자 중 실제 지원을 받은 비율 | 90% 이상 |
| 9 | 안내 정확도 | AI 안내가 실제 안전 경로와 일치한 비율 | 95% 이상 |
| 10 | 사후 리포트 생성 시간 | 훈련 종료 후 KPI 리포트 초안 생성까지의 시간 | 10분 이내 초안 생성 |
기준선 대비 목표 개선 비교
그림 1. 주요 지표의 기준선(회색) 대비 목표치(색상) — 모든 지표에서 위험·지연을 낮추는 방향으로 개선
4 Evaluation 방식 4가지
시뮬레이션에서 실제 훈련, 그리고 정성 평가까지 단계적으로 성과를 검증한다.
① 시뮬레이션 평가
가상 평면도와 대피자 데이터로 AI 전후를 비교한다.
② 제한 구역 훈련 평가
시설의 일부 구역을 제한하여 훈련하며 관찰한다.
③ 전체 훈련 평가
정기 대피훈련에 적용하여 전면 검증한다.
④ 정성 평가
참여자 피드백으로 수용성과 유용성을 확인한다.
5 Go / Conditional Go / No-Go 기준
평가 결과를 신호등 기준으로 판정한다. 확산(Go), 보완 후 확산(Conditional Go), 중단·재설계(No-Go)의 세 가지 결정 중 하나로 귀결된다.
그림 2. 3색 신호등 판정 — 성과 지표와 리스크 통제 수준에 따라 확산 여부를 결정
🟢 Go
- 대피 완료 시간 개선
- 출구별 분산률 개선
- 관리자 알림 시간 단축
- 현장 사용자 수용성 높음
- Governance 리스크 통제 가능
- KPI 측정 가능
🟡 Conditional Go
- 시뮬레이션 효과 있으나 실제 훈련 일부 혼선
- 대체경로 수용률 낮음
- 관리자 승인 절차 느림
- 센서·CCTV 연동 보완 필요
- 안전요원 교육 추가 필요
🔴 No-Go
- AI 경로 추천이 현장 혼선 유발
- 위험구역 판단 오류
- 권한·책임 구조 불명확
- KPI 측정 불가
- 사용자 불신 높음
- 현장 안전 리스크 증가
6 평가 리포트 구성
훈련·평가 결과는 아래 6개 블록으로 구성된 리포트로 정리하며, 마지막 블록은 Knowledge Vault에 등록하여 다음 사이클의 개선 자산으로 축적한다.
1. 훈련 개요
- 일시
- 시설 유형
- 참여 인원
- 적용 시나리오
- 사용 데이터
2. 주요 결과
- 대피 완료 시간
- 출구별 분산률
- 병목지점 변화
- 관리자 대응 시간
- 안전요원 배치 시간
3. AI Agent 성과
- 위험 감지 정확도
- 병목 예측 정확도
- 대체경로 추천 적정성
- 관리자 알림 유용성
4. 현장 피드백
- 대피자
- 관리자
- 안전요원
- 구조기관
5. 개선 과제
- 시설 구조 개선
- 안내 문구 개선
- 센서 추가
- 안전요원 교육
- 경로 추천 알고리즘 보완
6. Knowledge Vault 등록 항목
- 시나리오
- 온톨로지 수정 사항
- Agent 성능 결과
- KPI 결과
- 개선 템플릿
- 확장 가능 시설 유형