Skip to content

실제 테스트용 스킬 카탈로그와 AppContainer 평가 기록 - #151

Merged
rkttu merged 3 commits into
mainfrom
poc/appcontainer-skill-evaluation
Oct 25, 2026
Merged

rkttu merged 3 commits into
mainfrom
poc/appcontainer-skill-evaluation

Conversation

@rkttu

@rkttu rkttu commented Oct 25, 2026 •

Copy link
Copy Markdown
Member

실제 테스트에 사용할 수 있도록 공개 카탈로그에서 기존 호환 후보 3개와 고정 스크립트 평가 후보 3개를 제공합니다. 최종 활성 항목은 official-report-skillset, tablecloth-certificate-expiry, tablecloth-windows-sandbox, tablecloth-calculators, bok-ecos-stats, kosis-stats이며 주석 후보는 9개입니다. 현재 main의 미연결 MCP 후보 2개를 주석으로 보류하고 API 키 후보의 기존 보류를 유지합니다.

스크립트 후보의 공개와 제품 호환성 승격을 문서에서 구분했습니다. 앱 PR yourtablecloth/TableCloth#322는 별도로 유지하므로 현재 제품 대화의 스크립트 자동 실행 지원을 완료했다고 표시하지 않습니다. 영한 등재 기준, 고정 원본 감사 기록, AppContainer 평가 보고서를 추가하고 README와 기여 안내에서 연결합니다.

이 PR은 원래 #150 위에 쌓았던 변경과 필요한 등재 기준 파일을 포함해 main을 직접 대상으로 합니다. #150을 별도로 병합하지 않고 #151을 squash 병합합니다. 앱 저장소의 PR과 브랜치는 변경하지 않습니다.

검증 결과:

  • 최신 문구 변경 후 스키마 검사와 회귀 검사 52개 통과
  • 활성 6개와 주석 9개, Skill 블록 15개의 원문과 고정 Ref 보존
  • XSD, 이전 설치 감사 JSON과 실행 코드 유지
  • 기존 AppContainer 평가 검사 46/46 통과, 이 중 가짜 실행기 중계기 검사 20개
  • 격리한 원본 계산기 테스트 28개와 BOK 테스트 19개 통과
  • 고정 BOK sample 및 KOSIS 공용 프록시 요청에서 각각 실제 데이터 1행과 한글 검증
  • Codex 0.156.1 → MCP → AppContainer 계산기 연결 통과, 로컬 결정적 Responses 모의 서버 사용

실제 모델 추론과 인증은 0회이며 Windows 10 22H2 및 ARM64의 PoC 실행은 실측하지 않았습니다. 중계기는 네트워크를 차단하며 고정 공개 API 평가에만 도메인 허용 목록이 없는 internetClient를 부여했습니다. 원본 npm 지침 로더는 실행하지 않았고 BOK 및 KOSIS는 고정 Python 도우미 어댑터로 평가했습니다.

PR #151을 main에 squash 병합했습니다. 병합 커밋은 efb4e46c983d158d39232115c05d57c01dfa2ce4입니다. Pages 배포 CI가 성공했으며 공개 build-info.json이 같은 커밋을 가리키는 점을 확인했습니다. 공개 SkillCatalog.xml의 활성 6개와 주석 9개, 모든 고정 원본 Ref 및 설치 메타데이터가 main과 일치했습니다. PR #150은 열린 상태로 유지했고 앱 PR #322도 변경하지 않았습니다.

@rkttu rkttu changed the title AppContainer PoC 평가용 스크립트 스킬 재활성화 실제 테스트용 스킬 카탈로그와 AppContainer 평가 기록 Oct 25, 2026
@rkttu
rkttu changed the base branch from feature/skill-eligibility to main October 25, 2026 12:49
@rkttu
rkttu marked this pull request as ready for review October 25, 2026 12:49
Copilot AI balanced review requested due to automatic review settings October 25, 2026 12:49
@rkttu
rkttu merged commit efb4e46 into main Oct 25, 2026
3 checks passed

Copilot AI left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🟢 Approval recommended

The catalog pins and eligibility checks are consistent, and the documentation clearly distinguishes evaluation evidence from production execution support.

No open issues 🎉

What changed in this PR

This PR prepares the public skill catalog for hands-on evaluation while keeping experimental script support separate from production TableCloth compatibility.

Changes:

  • Retains six active entries and preserves nine deferred candidates as XML comments.
  • Adds regression checks restricting active IDs and source revisions to the approved evaluation allowlist.
  • Adds bilingual eligibility criteria, installation audit records and AppContainer evaluation reports, with explicit verification limits.
File Description
src/​testskills.cs Adds pinned-source eligibility checks and regression cases.
README.md Links evaluation reports and clarifies current execution limitations.
docs/​SkillCatalog.xml Defers two MCP-dependent entries and labels script evaluation scope.
docs/​SkillCatalog.README.md Updates English catalog lifecycle and qualification guidance.
docs/​SkillCatalog.README.ko.md Updates Korean catalog lifecycle and qualification guidance.
docs/​skill-eligibility-audit-2026-10-25.json Records installation and discovery evidence for eight pinned skills.
docs/​SKILL_ELIGIBILITY.md Documents English eligibility criteria and verification boundaries.
docs/​SKILL_ELIGIBILITY.ko.md Documents Korean eligibility criteria and verification boundaries.
docs/​APP_CONTAINER_POC.md Records English isolation, routing and service evaluation results.
docs/​APP_CONTAINER_POC.ko.md Records Korean isolation, routing and service evaluation results.
CONTRIBUTING.md Adds execution-dependency and qualification requirements for contributions.

Review effort: Balanced

@rkttu
rkttu deleted the poc/appcontainer-skill-evaluation branch October 29, 2026 03:40
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants