RAGAS와 하네스 엔지니어링
RAGAS는 RAG 시스템을 더 적절하게 평가하기 위해 다음 지표들을 봅니다. RAGAS 지표 평가 질문 Faithfulness 답변이 검색 문서에 근거했는가? Answer Relevancy 답변이 질문에 직접 답했는가? Context Precision 검색 결과 중 …
LLM PLAN이란?
단일 LLM 호출로 처리하면 문제가 생깁니다. 문제 설명 작업 누락 LLM이 중간 단계를 빼먹을 수 있음 순서 오류 예산 데이터를 조회하기 전에 분석부터 하려 할 수 있음 디버깅 어려움 어느 …
상용 LLM 서비스의 실제 멀티에이전트 조직화
우리는 흔히 강의나 이론서에서 Supervisor, Hierarchical, Network, Subgraph 같은 깔끔한 에이전트 패턴을 배웁니다. 이론적으로는 완벽해 보이지만, “실제 대규모 트래픽을 감당하는 프로덕션 환경에서도 이 패턴이 그대로 쓰일까?”라는 의문이 남습니다. 오늘은 실제 …