빌드 피벗(Build Pivot)

AGENTIC AI DESIGN PATTERNS · 19AI 에이전트에 '계기판'을 다는 법 — 평가·모니터링(Evaluation & Monitoring)응답·실행경로(Trajectory)·세션 3수준 평가, 단순 일치를 넘는 5단계 품질 측정, LLM-as-a-Judge와 그 편향, 백분위수(P50/P95/P99) 메트릭, 드리프트·이상 탐지, 그리고 계층형 평가로 비용을 줄이는 프로덕션 모니터링까지🟢 입문~중급 ⏱️ 약 27분 🔧 Python · LangGraph · Google ADK · Gemini 🏢 엔터프라이즈 🗓️ 최종 검토 2026-06-13TL;DR — AI 에이전트는 같은 입력에도 매번 다른 출력을 내는 비결정론적 시스템입니다. 그래서 Pass/Fail 단위 테스트로는 품질을 잡..

AGENTIC AI DESIGN PATTERNS · 11스스로 채점하는 AI — 목표 설정과 모니터링(Goal Setting & Monitoring) 완벽 정리에이전트에 SMART 목표를 주고 스스로 평가·재시도하게 하기: 반복적 자기평가(Generate→Evaluate→Refine) 루프, LLM-as-Judge, Feedback Loop, 순수 Python + LangGraph 구현 2종, Multi-Agent 모니터링과 CRM·ERP·Groupware 적용까지🟢 입문~중급 ⏱️ 약 17분 🔧 Python · LangGraph · Gemini 🏢 엔터프라이즈TL;DR — 도구·메모리·MCP로 무엇이든 할 수 있게 된 에이전트. 그런데 "무엇을 향해, 어디까지 잘하고 있는가?"를 묻지 않으면 그저..