Odytssey가 개발하는 방어 우선(defensive-first) 사이버보안 특화 LLM 프로젝트입니다. ShadowCrafter는 Ornith-1.5-9B를 기반으로, 허가된 환경에서 취약점·CVE 분석, 보안 리포트 작성, 악성코드 징후 탐지, 보안 지식베이스 구축, SIEM/SOAR 분석 보조를 수행하도록 연구·학습합니다.
상태: 초기 비공개 개발 단계입니다. 현재 문서에 적힌 기능과 목표 수치는 출시 또는 성능 보장이 아닙니다.
검증된 최신 진행 내역은 docs/STATUS.md에 기록합니다.
ShadowCrafter는 다음 원칙을 따릅니다.
- 소유자 또는 운영자의 명시적 허가를 받은 시스템과 격리된 샌드박스에서만 공격 기법을 시험합니다.
- 실환경 무단 침투, 자격 증명 탈취, 지속성 확보, 피싱, 파괴 행위, 악성코드 제작·배포, 탐지 회피를 지원하지 않습니다.
- 악성코드는 정적·동적 분석, 분류, IOC 추출, 대응 권고 등 방어 목적으로만 다루며 격리된 저장소와 실행 환경을 사용합니다.
- SIEM/SOAR 결과는 제안 또는 승인 대기 작업으로 취급합니다. 차단, 격리, 삭제처럼 영향이 큰 조치는 사람이 검토하고 승인해야 합니다.
- 모델 출력은 사실 검증과 전문가 검토가 필요한 분석 보조 자료이며 보안 판정의 단독 근거가 아닙니다.
자세한 허용 범위는 ACCEPTABLE_USE.md, 보안 가정은 docs/THREAT_MODEL.md를 참고하십시오. 승인형 수동 HTTP/TLS 점검의 강제 경계와 승인 문서 형식은 docs/BLACK_BOX_ASSESSMENT.md에 있습니다.
| ShadowCrafter 계열 | 기반 모델 | 주 용도 | 배포 기본값 |
|---|---|---|---|
| ShadowCrafter-9B | Ornith-1.5-9B | 저지연 분류, 추출, 로컬 분석 보조 | 비공개 |
모델 카드에는 반드시 “Developed by Odytssey”와 기반 모델 계보를 함께 표시합니다. 이는 Odytssey가 Ornith 원본 모델을 만들었다는 의미가 아니라, 해당 기반 모델에서 ShadowCrafter를 파인튜닝했다는 의미입니다. 기반 모델, 토크나이저, 데이터셋 및 파생 가중치의 사용·배포에는 각각의 별도 라이선스가 적용됩니다.
- 소스·설정·컨테이너·클라우드 구성을 실행하지 않는 화이트박스 취약점 후보 탐지
- 승인 증빙, exact allowlist, DNS pinning, 읽기 전용 HTTP 메서드와 속도 제한을 강제하는 블랙박스 취약점 후보 탐지
- CVE/CWE/CVSS와 영향을 받는 자산의 연결, 우선순위화 및 완화책 제안
- 침해 징후, 로그, 경보, 파일 메타데이터의 방어적 분석과 IOC 추출
- 재현 가능한 보안 리포트와 검증 가능한 출처·불확실성 기록
- 승인된 보안 문서를 기반으로 한 버전 관리형 보안 지식베이스
- SIEM 경보 보강 및 SOAR 플레이북 초안 생성(항상 사람의 승인 필요)
- 명시적으로 승인된 격리형 실습 환경에서의 레드팀·블루팀 평가
“95% 이상”은 범용 해킹 능력이나 모든 보안 업무에 대한 단일 정확도 약속이
아닙니다. 사전에 고정한 누수 없는 테스트 세트에서 지정 과제의 목표 달성 여부를
표시하는 수치입니다. 실제 점수는 높거나 낮은 그대로 보고하며, 0.95 미달만으로
private noncommercial official release 업로드를 막지 않습니다. 생성형 보고서, 안전성,
캘리브레이션처럼 accuracy가 부적절한 과제는 별도의 루브릭을 사용합니다.
테스트 세트를 보고 재학습하거나 임계값에 도달할 때까지 같은 테스트 세트에
과적합하지 않습니다. 중복·근접 중복 제거, 출처/프로젝트/시간 분리, 블라인드
평가, 신뢰구간과 실패 사례 보고가 필수입니다. 목표 미달 릴리스에는
Official Release, 실제 점수, 평가 범위와 95% target met: no를 명시합니다. 정확도와
별개로 무결성·라이선스·개인정보·안전성에 실패한 artifact는 업로드하지 않습니다.
자세한 기준은 docs/MODEL_RELEASE_POLICY.md에 있습니다.
학습 완료 후 v1.0을 한 번 평가·비공개 업로드하고 실제 점수를 보고하는 자동화는
docs/VERSION_LOOP.md에 설명합니다.
사용자의 최신 보관 지침에 따라 기반 모델, 체크포인트, 완료 가중치와 원격 프로젝트
파일을 local_mirror/에 증분 보관합니다. 이 미러는 현재 소스 작업 트리를 덮어쓰지
않으며 Git에서 강제로 제외됩니다. 원격 학습 서버와 private Hugging Face 릴리스도
계속 유지합니다.
| 자산 | 로컬 보관 | 비공개 원격 보관 |
|---|---|---|
| 소스, 설정, 문서, 소형 manifest | 이 Git 작업 트리와 로컬 Git 기록 | GitHub Odytssey/ShadowCrafter |
| 기반 모델, 체크포인트, 최종 가중치 | local_mirror/remote-project/artifacts/ 비공개 미러 |
원격 GPU와 9B private Hugging Face 저장소 |
| 원천·가공 데이터와 악성 샘플 | data/ 아래의 접근 통제·격리 저장소 |
라이선스와 보안 검토가 허용할 때만 private 저장소 |
| 평가 결과와 릴리스 증거 | 로컬 평가 번들과 checksum manifest | 필요한 비민감 자료만 9B private 모델 저장소 |
Hugging Face 모델 저장소는 KaztoRay/ShadowCrafter-9B만 사용하며 private로 유지합니다. 완성된 모델은 원격에서 hash·안전 로딩·평가를 검증하고 인증된 계정으로 private Hub에 복제한 뒤 로컬 프로젝트 미러에도 내려받습니다. GitHub 소스 저장소도 private로 유지합니다. 로컬 manifest에는 원격 commit과 전체 checksum을 기록합니다. 미러는 백업이 아니라 추가 보관 사본이며 원격 원본을 자동 삭제하지 않습니다.
대용량 가중치·데이터·악성 샘플·비밀은 Git에 커밋하지 않습니다. 저장 구조, 동기화 순서, 복구 기준은 docs/LOCAL_ARTIFACTS.md를 따릅니다.
많은 자료를 수집하는 것보다 사용 권리, 출처, 품질, 최신성, 개인정보 최소화, 중복 제거와 평가 오염 방지가 우선입니다. Hugging Face 및 보안 자료는 허용 목록과 데이터 카드 검토를 통과한 스냅샷만 학습에 사용합니다. 비밀, 탈취 자격 증명, 불법 취득 자료, 배포가 제한된 데이터는 제외합니다. 세부 정책은 docs/DATA_GOVERNANCE.md를 참고하십시오.
v1.0은 8개 승인 소스의 28,140건으로 학습했으며, 고정된 CTI-Bench 5,533건에서 46.267847% accuracy를 기록했습니다. V2는 원본 V1 28,140건, NIST Juliet C/C++ 1.3의 CC0/public-domain 보안 코드 리뷰 64,099건, 같은 Juliet 계보의 결정적 CWE-ID 분류 view 64,099건, V1 ATT&CK procedure의 정답 비노출 기법-ID view 17,639건으로 총 173,977개 학습 레코드를 사용합니다. 이는 V1의 6.18배이며 파생 view는 별도 원천 자료가 아니라 같은 승인 자료의 과제 정렬 표현입니다. Juliet ZIP은 공식 SHA-256으로 고정하고 압축을 풀거나 코드를 실행하지 않으며, 모든 view가 부모 계보와 split group을 유지한 상태에서 CTI-Bench 오염 검사를 다시 수행합니다. 소스별 수량, 해시, 제외 근거와 아직 학습하지 않은 후보는 docs/DATASET_EXPANSION.md에 기록합니다.
원격 GPU 학습은 재현 가능한 고정 manifest로 실행하며, 로그·평가 번들·checksum
manifest와 평가 증거를 회수하고 완료된 체크포인트 및 원격 프로젝트 전체를
scripts/sync-from-remote.sh로 로컬 미러에 증분 동기화합니다.
SSH 키, Hugging Face 토큰, GitHub 토큰은 저장소나 학습 이미지에 포함하지 않습니다.
V2는 공식 Google Colab VS Code 확장(google.colab)에서 실행 가능한
ShadowCrafter_V2_Colab.ipynb도 제공합니다.
노트북 안에 검증된 최소 Git bundle과 입력 자료를 압축해 포함하므로 Google Drive,
private GitHub, Hugging Face 계정·토큰 연결 없이 실행합니다. 공개 기반 모델만 익명
다운로드하고, 학습 완료 후 CTIBench 5,533건에서 accuracy, balanced accuracy,
macro-F1과 95% 목표 상태를 원시 예측으로 재계산합니다. candidate·평가 evidence·보고서는
Colab 임시 저장소에서 하나의 로컬 다운로드 압축본으로 내보냅니다. 세션 보존 제한과
절차는 docs/COLAB_TRAINING.md를 따릅니다.
Colab에서 내려받은 candidate/checkpoint를 사용자 컴퓨터에 안전하게 가져오고, private GitHub 코드 push와 평가 완료 모델의 private Hugging Face 게시를 로컬 인증으로 수행하는 절차는 docs/LOCAL_COLAB_SYNC.md에 기록합니다.
- 로컬에서 변경하고 비밀·대용량 산출물이 없는지 검사합니다.
- 비공개 GitHub 저장소에 작은 단위로 검토 가능한 커밋을 푸시합니다.
- 고정된 데이터·코드·환경 manifest로 승인된 원격 GPU에서 학습합니다.
- 원격 가중치를 제자리에서 검증하고 로컬에는 manifest·로그·평가 증거만 회수합니다.
- 통과한 모델만 원격에서 9B private Hugging Face 저장소에 업로드하고 인증 상태로 다시 검증합니다.
- 로컬 manifest에 Git commit, 데이터 snapshot, 기반 모델 revision, 평가 결과, 원격 commit을 연결합니다.
어떤 원격 서비스에도 업로드하기 전에 해당 계정, 조직, 저장소 가시성이 정확한지 별도로 확인해야 합니다.
취약점이나 모델 안전 문제는 공개 이슈에 세부 내용을 남기지 말고 SECURITY.md의 비공개 신고 절차를 사용하십시오. 소스와 원본 문서는 별도 표시가 없는 한 Apache-2.0입니다. Ornith 가중치, 토크나이저, 데이터셋, 악성 샘플, 피드 및 파생 모델은 이 저장소의 Apache-2.0 허가 대상이 아니며 각 아티팩트의 조건을 따릅니다.
ShadowCrafter is a defensive-first cybersecurity LLM project developed by Odytssey and fine-tuned from Ornith-1.5-9B. Its intended uses include authorized vulnerability and CVE analysis, defensive malware triage, evidence-grounded reporting, security knowledge bases, and human-approved SIEM/SOAR assistance. Offensive evaluation is limited to explicitly authorized, isolated sandboxes; unauthorized access, malware development or deployment, credential theft, persistence, destructive actions, and evasion are prohibited.
The local workstation is the source of truth for code, approved data, manifests, and evaluation evidence. At the operator's direction it also retains an ignored, non-Git mirror of base models, checkpoints, completed weights, and the remote project under local_mirror/; approved remote storage and the private model repository remain authoritative storage copies. The GitHub source repository stays private. The “95%” value is a reported target for predeclared, leakage-free, task-specific metrics—not a universal accuracy claim or performance guarantee. The completed version may be stored as a clearly labeled private, noncommercial Official Release even below the target; integrity, safety, licensing, privacy, and provenance failures still block upload.