1Evaluation 목적

평가의 목적은 "AI-Men이 얼마나 확산됐는가"가 아니라 "AI-Men이 신앙교육 현장의 연결을 실제로 개선했는가"를 확인하는 것이다. 다음 6가지 질문에 데이터로 답할 수 있는지가 이 단계의 성패를 결정한다.

• 학생 참여가 지속되는가 — 일회성 체험이 아니라 주중 실천으로 이어지는가
• 기도·감사 기록이 이어지는가 — 첫 기록 이후에도 꾸준히 축적되는가
• 교사가 학생 반응을 더 잘 확인하는가 — 리포트를 통해 돌봄의 근거를 얻는가
• 부모와 가정 연계가 늘어나는가 — 교회 밖 신앙 대화가 생기는가
• 관리자가 운영 상태를 데이터로 볼 수 있는가 — 감이 아니라 지표로 판단하는가
• AFE 정착 코칭이 효과적으로 이루어지는가 — 도입 후 자립 운영으로 연결되는가

2기준선(Baseline) 설정

"개선됐다"고 말하려면 도입 전 상태를 먼저 기록해야 한다. 파일럿 시작 전 아래 7가지를 측정해 비교 기준선을 확보한다. 기준선이 없으면 개선의 크기를 증명할 수 없다.

• 도입 전 주일 수업 이후 활동 기록률 — 수업 후 실천이 기록으로 남는 비율
• 교사별 학생 후속 관리 방식 — 현재 어떤 도구·주기로 학생을 챙기는가
• 부모 알림 확인률 — 기존 공지·알림이 실제로 열람되는 비율
• 가정 신앙 대화 빈도 — 가정에서 신앙 주제 대화가 일어나는 주기
• 교사 준비·관리 시간 — 수업 준비와 학생 관리에 드는 실제 시간
• 부서별 참여율 — 유·초·중·고 부서별 출석·활동 참여 수준
• 운영 리포트 존재 여부 — 관리자가 참고할 운영 데이터/보고 체계 유무

3핵심 KPI

대표 KPI 3개는 참여율 · 기록 지속률 · 가정 대화 참여율이다. 이 세 축이 나머지 12개 지표의 방향을 결정한다. (숫자는 방향성 예시)

15개 핵심 KPI 전체

파일럿 기간 동안 아래 15개 지표를 추적한다. 학생·교사·부모·운영·정착의 5개 영역을 고르게 덮는다.

4Go / Conditional Go / No-Go 기준

파일럿이 끝나면 KPI를 종합해 확장 여부를 판단한다. 판단은 세 갈래다 — Go(확장), Conditional Go(조건부 확장), No-Go(중단·재설계). 각 유형은 아래 신호를 근거로 결정한다.

5평가 리포트 구성

파일럿 결과는 목회자·관리자·AFE가 함께 읽는 평가 리포트 하나로 정리한다. 아래 11개 구성으로 작성하면 판단 근거와 다음 행동이 한 문서에 담긴다.

• 파일럿 개요 — 기간·범위·목표를 한눈에
• 참여 교회와 부서 — 어떤 교회·부서가 참여했는가
• 학생 참여 데이터 — 주간 참여율·지속률 추이
• 기도·감사 기록 현황 — 기록 축적량과 지속성
• 교사 리포트 활용도 — 확인률·후속 질문 실행률
• 부모 연계 결과 — 확인률·가정 대화 참여율
• AFE 코칭 기록 — 코칭 회차·완료율·정착 지원 내용
• 주요 피드백 — 학생·교사·부모·목회자의 목소리
• 개선 과제 — 다음 단계에서 반드시 손볼 항목
• 확장 여부 판단 — Go / Conditional Go / No-Go 결론
• Knowledge Vault 등록 항목 — 재사용할 자산과 교훈

6실습 전체 정리

4단계부터 14단계까지, AI-Men 실습은 하나의 사슬로 이어진다. 고객의 표면 요구를 문제로 다시 정의하고(4·5), 현장의 암묵지를 개념과 온톨로지로 구조화하며(6·7), 플랫폼 원시 요소로 검증한 뒤(8) 온톨로지를 다듬고(10), FDE의 12스킬로 실행 역량을 갖춰(11) AI Agent를 설계하고(12), 운영과 거버넌스를 세운 다음(13), 마지막으로 KPI와 Evaluation으로 성공을 판정한다(14). 각 단계의 결과물이 다음 단계의 입력이 되는 끊기지 않는 흐름이다.