[tkv00]

📝작업 내용

상담 분석 비교 결과와 한계

사람 정답 50건에서는 네 방식의 원시 키워드 집합이 사례별로 모두 같았다. 에이전트 비용은 단일 호출보다 33.96% 높았다. 현재 키워드 과제에서 에이전트의 추가 이점을 확인하지 못했다.

방식	원시 Micro-F1	전달 Micro-F1	보류	모델 호출	추정 비용 USD
단일 호출	76.23%	76.34%	1	50	0.0174957
조건부 재검토	76.23%	74.51%	3	62	0.0216285
반복 재검토	76.23%	74.51%	3	86	0.02996505
MCP 에이전트	76.23%	74.51%	3	64	0.0234369

xychart-beta
  title "사람 정답 50건: 방식별 논리적 추정 비용"
  x-axis ["단일", "조건부", "반복", "MCP"]
  y-axis "USD" 0 --> 0.032
  bar [0.0174957, 0.0216285, 0.02996505, 0.0234369]

Loading

공유한 최초 응답 비용이 방식별 비용에 각각 포함된다. 성공한 신규 API 응답 112회의 추정 비용 합계는 $0.04003905다. 청구서의 확정 금액은 아니다. 첫 샌드박스 실행의 DNS 실패는 성공 응답 비용과 구분했다.

개발 자료에서 확인한 변화

비교	변경 전	변경 후	해석
중복 구조 검사 제거: 모델 호출	82	67	개발 50건의 에이전트 내부 비교
같은 비교: 도구 호출	16	1	호스트가 이미 하던 검사를 모델 도구 목록에서 제거
같은 비교: 추정 비용	$0.0571458	$0.0482058	15.64% 감소, 단일 호출 대비 절감이 아님
같은 비교: 검토 보류	0	2	의미 품질 유지까지 확인한 결과가 아님
장애 주입: 모의 모델 호출	18	12	알려진 응답 기록이 있는 네 조건
장애 주입: 모의 도구 호출	6	4	운영 장애율·실제 비용 측정이 아님

초기 단일 2,000건 실행과 에이전트 부분 실행 기록은 존재한다. 이후 MCP 개선판의 새 2,000건 확대 검증은 하지 않았다. 서로 다른 자료·비교 조건을 하나의 성과로 합산하지 않는다.

👀변경 사항

test/HSC-426 위에 올리는 문서와 집계 파일이다. 원본 집계의 수치를 유지하고 사례별 상세를 제외했다. 원본 SHA-256은 experiments/consultation-agent/docs/evidence/provenance.json에 기록했다.

검증

원본 결과 200개에서 50개 사례의 네 방식 키워드 집합이 모두 같은지 재확인했다. 본문의 F1·보류·호출·비용은 원본 집계와 대조했다. 코드 테스트는 앞 PR에서 52개 통과했다. 이 PR에서는 코드를 변경하거나 유료 실험을 다시 실행하지 않았다.

실행기 집계의 human_gold_verified: 0과 별도의 사람 키워드 채점을 구분해 설명했다. 공개된 집계만으로 상담 원문과 사람 정답 50건을 재구성하거나 재채점할 수는 없다.

🎫 Jira Ticket

• Jira Ticket: HSC-426

#️⃣관련 이슈

• 별도 GitHub 이슈 없음. Jira HSC-426을 사용한다.