[tkv00]

📝작업 내용

비교 조건과 키워드 채점

동일한 최초 응답과 입력으로 비교하고 키워드의 누락·과검출을 집계한다. 보류 전 원시 결과와 실제 전달 결과를 따로 계산한다.

flowchart TD
  A[동일 입력과 사전] --> B[방식별 실행 결과]
  B --> C{짝과 최초 응답 일치}
  C -->|불일치| D[집계 중단]
  C -->|일치| E[원시 키워드 채점]
  C -->|일치| F[보류를 미전달로 처리한 채점]
  E --> G[F1과 완전 일치]
  F --> G

Loading

사람 정답은 모델 실행 입력에서 분리한다. 구조 통과만으로 의미 정확도나 에이전트 효용을 인정하지 않는다.

👀변경 사항

feat/HSC-426 위에 올리는 비교·채점 변경이다. 리뷰 범위는 이 PR의 diff다.

개인 키 파일 경로를 OPENAI_API_KEY 환경변수로 바꾸고 HTTP 클라이언트를 실험 디렉터리 안에 옮겼다. 입력은 inputs/에 따로 준비한다. 과거 코드 해시를 수정해 새 코드인 것처럼 기록하지 않고 새 실행에서 새 스냅샷을 만든다.

테스트

experiments/consultation-agent에서 python -m unittest discover -s tests -v 실행: 52개 통과, 1.194초. MCP 2.2.0이 설치된 Python 3.12 환경이다.

확인	결과
누락 짝과 다른 최초 응답	집계 거부
보류와 키워드 과검출·누락	별도 채점
환경변수 인증 구현 전	2개 오류로 미구현 확인
환경변수 인증 구현 후	키 전달과 키 누락 처리 모두 통과
잘못된 작업 위치에서 첫 실행	experiment 모듈 수집 실패. README의 실행 위치로 이동해 해결

원본에서 통과한 50개에 환경변수 인증 2개를 추가했다. 유료 모델 비교와 서버 전체 테스트는 이번 PR 준비에서 실행하지 않았다.

🎫 Jira Ticket

• Jira Ticket: HSC-426

#️⃣관련 이슈

• 별도 GitHub 이슈 없음. Jira HSC-426을 사용한다.