[Fix] 채점 고도화

evaluation/evaluation_nlg_judge_current.csv

@@ -0,0 +1,21 @@
+caseId,sourceResultFile,analysisCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,errorCodes,shortRationale,judgeInputTokens,judgeOutputTokens,judgeLatencyMs,failureStage
+EV-01,evaluation/evaluation_ai_results.csv,0,,,,,,,,,,,1,5,5,1,1,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","답변에 대한 분석이 전혀 이루어지지 않았으며, 중요한 누락 키워드가 발견되었습니다. 전반적으로 개선이 필요합니다.",3631,142,3720,
+EV-02,evaluation/evaluation_ai_results.csv,1,4.0,3.0,4.0,4.0,3.0,4.0,4.0,4.0,4.0,4.0,5,5,5,5,5,5,"[""NONE""]","지원자의 경험과 강점이 잘 드러나 있으며, JD의 요구사항을 충족하고 있습니다. 전반적으로 높은 품질의 자기소개서입니다.",2811,274,3745,
+EV-03,evaluation/evaluation_ai_results.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]","자기소개서에 명백한 첨삭 대상이 없으나, 분석이 비어 있어 중요한 문제를 놓쳤습니다. 전반적으로 분석의 깊이가 부족합니다.",4131,139,5664,
+EV-04,evaluation/evaluation_ai_results.csv,1,3.0,2.0,3.0,3.0,2.0,3.0,4.0,3.0,4.0,3.0,2,3,3,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원자의 경험이 부족하고, 주요 키워드가 누락되어 있어 전반적인 유용성이 낮습니다. 또한, 중요한 분석 대상을 놓쳤습니다.",4998,294,6407,
+EV-05,evaluation/evaluation_ai_results.csv,1,4.0,3.0,4.0,4.0,3.0,5.0,5.0,4.0,5.0,5.0,3,5,5,5,5,3,"[""NONE""]","지원자의 포부는 명확하나 구체적인 실행 방법이 부족하여 다소 아쉬운 점이 있습니다. 전반적으로 강점이 잘 드러나지만, 분석의 깊이가 부족합니다.",3185,288,3982,
+EV-06,evaluation/evaluation_ai_results.csv,0,,,,,,,,,,,1,5,5,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","자기소개서에서 명백한 문제 문장이 없으나, 분석이 전혀 이루어지지 않아 중요한 첨삭 대상을 놓쳤습니다. 또한, JD의 핵심 경험 요구사항이 누락되었습니다.",5786,159,3268,
+EV-07,evaluation/evaluation_ai_results.csv,1,4.0,3.0,4.0,3.0,2.0,5.0,5.0,5.0,5.0,5.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]","분석이 부족하여 중요한 첨삭 대상을 놓쳤고, 문맥을 무시한 부분이 있어 전반적인 유용성이 낮게 평가되었습니다.",2708,283,4626,
+EV-08,evaluation/evaluation_ai_results.csv,0,,,,,,,,,,,1,5,5,1,1,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원자의 경험이 JD의 주요 요구사항과 잘 연결되지 않았으며, 분석이 전혀 이루어지지 않아 중요한 문제를 놓쳤습니다. 누락된 키워드도 다수 존재합니다.",4255,153,3799,
+EV-09,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,3.0,2.0,4.0,4.0,4.0,4.0,4.0,2,4,4,1,2,3,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원자의 경험은 유용하지만, 세무 신고 실무 경험이 누락되어 있으며, 분석이 부족한 부분이 있습니다.",3577,299,4855,
+EV-10,evaluation/evaluation_ai_results.csv,1,4.0,3.0,5.0,4.0,2.0,5.0,5.0,5.0,5.0,5.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]","지원자의 교육 철학과 실습 경험이 잘 드러나지만, 포부의 구체적인 실행 방법이 부족하여 문맥을 간과한 분석이 있었습니다.",3484,285,5276,
+EV-11,evaluation/evaluation_ai_results.csv,1,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","지원 동기와 포부가 잘 드러나 있으며, 자격증 관련 경험도 명확하게 표현되었습니다. 다만, 일부 문장에서 구체성이 부족하여 개선 여지가 있습니다.",3584,277,5816,
+EV-12,evaluation/evaluation_ai_results.csv,1,3.0,3.0,3.0,3.0,2.0,4.0,4.0,4.0,4.0,4.0,2,5,5,2,2,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]",지원 동기와 직무 적합성에 대한 설명이 구체적이지 않아 중요한 첨삭 대상을 놓쳤습니다. 또한 JD의 핵심 경험 요구사항이 누락되어 평가가 낮아졌습니다.,3852,306,6174,
+EV-13,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,4.0,2.0,4.0,5.0,4.0,5.0,4.0,2,4,4,2,2,2,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","분석이 부족하여 주요 경험과 관련된 키워드가 누락되었고, 문맥을 충분히 반영하지 못한 점이 문제로 지적되었습니다.",3573,285,4428,
+EV-14,evaluation/evaluation_ai_results.csv,0,,,,,,,,,,,2,4,4,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원자의 경험이 JD의 주요 요구사항을 충분히 반영하지 못하고 있으며, 분석이 전혀 이루어지지 않아 중요한 첨삭 대상을 놓쳤습니다.",3704,147,3526,
+EV-15,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,3.0,2.0,4.0,4.0,4.0,4.0,4.0,2,4,4,2,2,3,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원 동기는 잘 설명되었으나, 회사에 대한 구체적인 기여 방안이 부족하고, 주요 경험 키워드가 누락되었습니다.",3137,289,5168,
+EV-16,evaluation/evaluation_ai_results.csv,1,,,,,,,,,,,3,4,4,1,1,3,"[""MISSED_MISSING_KEYWORD""]","지원자의 경험과 역량 설명이 구체적이나, JD의 핵심 경험 요구사항인 재고 관리 및 분석 경험이 누락되었습니다.",3996,176,7417,
+EV-17,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,4.0,2.0,5.0,5.0,4.0,5.0,5.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]","분석이 부족하여 중요한 문제를 놓쳤고, 문맥을 무시한 부분이 있어 전반적인 유용성이 낮게 평가되었습니다.",3107,292,4754,
+EV-18,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,4.0,2.0,5.0,5.0,4.0,5.0,5.0,2,4,4,2,2,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","분석이 부족하여 중요한 첨삭 대상을 놓쳤고, JD의 핵심 경험 요구사항이 누락되었습니다.",3156,270,5383,
+EV-19,evaluation/evaluation_ai_results.csv,1,3.0,3.0,5.0,3.0,2.0,5.0,5.0,4.0,5.0,5.0,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]","지원자의 QA 직무에 대한 이해는 좋지만, 분석이 부족하여 중요한 첨삭 대상을 놓쳤습니다. 전반적으로 유용성은 중간 수준입니다.",3102,277,5843,
+EV-20,evaluation/evaluation_ai_results.csv,1,3.0,3.0,4.0,3.0,2.0,5.0,5.0,4.0,5.0,5.0,2,4,4,2,2,3,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원자의 포부는 구체적이지 않으며, JD의 핵심 경험 요구사항이 누락되었습니다. 분석이 부족하여 중요한 문제를 놓쳤습니다.",3695,287,5350,

evaluation/evaluation_nlg_judge_current_comparison.csv

@@ -0,0 +1,4 @@
+sourceResultFile,caseCount,successCount,judgeFailedCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,averageJudgeInputTokens,averageJudgeOutputTokens,averageJudgeLatencyMs,averageAnalysisCount,metaImprovementRate,unsupportedFactRate,falsePositiveAnalysisRate,fatalErrorRate,errorCodeCounts
+evaluation/evaluation_nlg_judge_v5a_v2.csv,20,20,0,3.06,2.75,3.75,3.19,2.06,4.0,4.13,3.81,3.69,4.06,2.05,4.45,4.45,3.45,3.45,2.75,,,4214.25,0.8,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":4,""MISSED_ANALYSIS"":18,""MISSED_MISSING_KEYWORD"":10,""NONE"":1}"
+evaluation/evaluation_nlg_judge_two_pass_v2_1_v2.csv,20,20,0,3.33,2.5,3.5,3.33,2.17,4.0,4.17,3.5,3.33,4.0,1.85,4.14,4.14,4.07,4.07,2.6,,,3821.65,0.45,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":2,""MISSED_ANALYSIS"":19,""MISSED_MISSING_KEYWORD"":2,""MISSED_STRENGTH"":2,""NONE"":1}"
+evaluation/evaluation_nlg_judge_current.csv,20,20,0,3.36,2.93,4.0,3.5,2.21,4.43,4.64,4.07,4.57,4.43,2.15,4.55,4.55,3.0,3.05,2.8,3673.6,246.1,4960.05,0.75,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":6,""MISSED_ANALYSIS"":16,""MISSED_MISSING_KEYWORD"":12,""NONE"":3}"

evaluation/evaluation_nlg_judge_policy_alignment.csv

@@ -0,0 +1,21 @@
+caseId,sourceResultFile,analysisCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,errorCodes,shortRationale,judgeInputTokens,judgeOutputTokens,judgeLatencyMs,failureStage
+EV-01,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험이 잘 드러나지만, 구체적인 절차와 결과 수치가 부족합니다.",6315,270,15590,
+EV-02,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,5,5,5,5,5,4,"[""NONE""]","전반적으로 경험과 강점이 잘 드러나 있으며, 분석이 없지만 주요 문제는 발견되지 않았습니다.",5753,117,9338,
+EV-03,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.5,3.5,3.5,4.0,3.5,4.0,4.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 분석 역량과 경험이 잘 드러나 있으나, 구체적인 행동과 결과를 더 강조할 필요가 있습니다.",7349,441,19185,
+EV-04,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",명확한 문제 문장이 존재하나 분석이 없었습니다. 구체적인 행동 계획과 방법이 부족한 점이 주요 문제입니다.,7421,130,13282,
+EV-05,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,3.0,4.0,3.0,4.0,4.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","지원 동기와 포부가 구체적이지 않아 개선 여지가 있으며, 전반적으로 유용한 분석이 제공되었습니다.",6222,420,11695,
+EV-06,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5,5,5,5,5,5,"[""NONE""]","전반적으로 구체적인 성과와 실행 방법이 잘 드러나 있으며, 분석이 적절하게 이루어졌습니다.",8921,312,9913,
+EV-07,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,5,5,5,5,5,4,"[""NONE""]","전반적으로 강점과 누락 키워드가 적절하게 반영되어 있으며, 분석이 없지만 명확한 문제 문장이 없습니다.",5299,123,5722,
+EV-08,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,3.0,4.0,3.0,4.0,4.0,3.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 자기소개서의 강점이 잘 드러나지만, 구체적인 실행 방안과 방법론이 부족하여 개선 여지가 있습니다.",7252,421,7677,
+EV-09,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 구체적인 행동과 방법론이 부족하지만, 경험을 잘 설명하고 있어 유용한 분석입니다.",6245,408,7479,
+EV-10,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,5,5,5,5,3,"[""NONE""]",전반적으로 구체적인 경험과 성과가 부족하여 활용도가 낮습니다.,6458,109,2962,
+EV-11,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,3,3,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","명확한 문제 문장이 존재하나 분석이 없으며, JD의 핵심 경험 요구사항이 누락되었습니다.",6512,135,4096,
+EV-12,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,4.0,4.0,4.0,4.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 직무 적합성을 잘 드러내고 있으나, 구체적인 행동이나 방법을 추가하면 더욱 명확해질 것입니다.",6739,417,8190,
+EV-13,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험과 방법론이 잘 서술되었으나, 구체성이 부족한 부분이 있어 개선 여지가 있습니다.",6369,430,7414,
+EV-14,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,5,5,5,5,4,"[""NONE""]","지원 동기와 포부에서 구체적인 행동과 방법이 부족하지만, 전반적으로 강점이 잘 드러나고 있습니다.",6422,121,5742,
+EV-15,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,3,3,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원 동기와 직무 적합성에서 구체적인 사례가 부족하며, 채용 관련 경험이 누락되었습니다.",5344,136,3224,
+EV-16,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",명확한 문제 문장이 존재하지만 분석이 없었습니다. 구체적인 행동 계획과 방법론이 부족한 점이 주요 문제입니다.,6419,130,5137,
+EV-17,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험의 구체성이 부족하지만, 분석이 유용하며 개선 방향이 명확합니다.",5751,394,7867,
+EV-18,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,3,3,2,2,3,"[""MISSED_MISSING_KEYWORD""]",답변에서 구체적인 경험이 부족하여 JD의 '사내 일반 행정 지원' 요구사항을 충족하지 못하고 있습니다.,5772,132,3890,
+EV-19,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,4.0,4.0,3.0,4.0,4.0,4.0,4.0,4.0,3,5,5,5,5,4,"[""NONE""]",지원 동기와 성격의 장단점에서 구체적인 경험이 부족하여 개선 여지가 있습니다. 그러나 전반적으로 유용한 분석이 이루어졌습니다.,5925,403,8503,
+EV-20,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",지원 동기와 포부에서 구체적인 행동이나 계획이 결여된 명확한 문제 문장이 존재하지만 분석이 없었습니다.,5767,130,2413,

evaluation/evaluation_nlg_judge_policy_alignment_comparison.csv

@@ -0,0 +1,3 @@
+sourceResultFile,caseCount,successCount,judgeFailedCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,averageJudgeInputTokens,averageJudgeOutputTokens,averageJudgeLatencyMs,averageAnalysisCount,metaImprovementRate,unsupportedFactRate,falsePositiveAnalysisRate,fatalErrorRate,errorCodeCounts
+evaluation/evaluation_nlg_judge_two_pass_provenance_strength_fix.csv,20,20,0,3.45,2.95,3.35,3.45,2.55,4.1,4.4,3.55,3.65,4.2,2.35,4.55,4.55,4.55,4.55,3.05,4919.75,287.45,4769.35,0.9,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":4,""MISSED_ANALYSIS"":17,""MISSED_MISSING_KEYWORD"":3,""NONE"":3}"
+evaluation/evaluation_nlg_judge_policy_alignment.csv,20,20,0,3.85,3.35,3.85,4.1,3.35,4.1,4.6,4.0,4.1,4.1,3.35,4.7,4.7,4.55,4.55,3.45,6412.75,258.95,7965.95,0.9,0.0,0.0,0.0,0.0,"{""MISSED_ANALYSIS"":5,""MISSED_MISSING_KEYWORD"":3,""NONE"":14}"