클로드 스킬을 안정적으로 불러오는 방법

UserPromptSubmit 훅으로 Claude 에게 응답 전 3단계를 강제한다:

1. EVALUATE: 각 스킬에 대해 [skill-name] - YES/NO - [이유] 출력
2. ACTIVATE: YES 인 스킬은 즉시 Skill(name) 도구 호출
3. IMPLEMENT: 활성화 완료 후에만 실제 구현

#!/bin/bash
# .claude/hooks/skill-forced-eval-hook.sh
cat <<'EOF'
INSTRUCTION: MANDATORY SKILL ACTIVATION SEQUENCE
Step 1 - EVALUATE: [skill-name] - YES/NO - [reason]
Step 2 - ACTIVATE: Use Skill(name) for EACH relevant skill NOW
Step 3 - IMPLEMENT: Only after Step 2 is complete.
CRITICAL: You MUST call Skill() in Step 2.
EOF

MANDATORY, CRITICAL, WORTHLESS 같은 강한 어조가 모델이 단계를 건너뛰지 못하게 한다.

Haiku 4.5 기준으로 5개 프롬프트 × 10회 반복 측정 결과를 요약하면:

LLM 평가는 서버 액션 테스트에서 100%를 찍기도 하지만, 폼/라우트 복합 프롬프트에서 svelte5-runes 를 10회 연속 누락(0/10) 했다.

왜 강제 평가가 단순 지시문보다 4배 잘 되는가?

• 작업 보여주기: 각 스킬 적합성을 명시적으로 출력 하게 해 평가를 스킵할 수 없게 만든다
• 공개 약속: 응답 안에 YES 라고 적은 이상 다음 단계에서 Skill() 호출을 빼면 자기모순이 된다
• 실행 분리: 평가 출력과 Skill() 호출을 서로 다른 단계로 강제해 모델이 "구현으로 바로 점프" 하지 못한다

"스킬을 실제로 활성화하지 않는다면 앞선 평가는 아무런 가치가 없다" — 이 문장이 훅 안에 들어 있다는 점 자체가 설계 포인트.

설정 파일 예시:

{
  "hooks": {
    "UserPromptSubmit": [
      { "hooks": [
        { "type": "command",
          "command": ".claude/hooks/skill-forced-eval-hook.sh" }
      ] }
    ]
  }
}

[감점 답변] "프롬프트를 더 명확히 쓴다", "description 을 잘 적는다" 수준에서 멈추면 감점. [좋은 답변] ① 현재 성공률을 먼저 정량 측정(SQLite + 반복 실행), ② 모델이 스킵할 수 없게 평가·활성화·구현을 별도 단계로 분해, ③ 각 단계의 출력을 강제(각 스킬에 YES/NO 출력 후 Skill() 호출 의무화), ④ 훅 방식별 비용·지연·최악 구간 분산을 함께 측정해 선택. 단순 지시문 20% vs 강제 평가 84% 같은 수치와 트레이드오프까지 언급.

[감점 답변] "성공률이 4%p 높아서" 로 끝내면 얕은 답. [좋은 답변] 평균이 아니라 분산과 최악 케이스를 근거로 들어야 한다. LLM 평가는 80% 평균이지만 폼/라우트 복합 프롬프트에서 0/10 으로 완전히 무너진다. 반면 강제 평가는 84% 이면서 구간별 편차가 작고 외부 API 의존이 없다(키 관리·네트워크 장애 면역). 비용 10% 절감은 프로덕션 신뢰성 대비 미미한 이득.

[감점 답변] "모델이 말을 더 잘 들어서" 같은 애매한 설명. [좋은 답변] 강한 어조 자체보다 약속 이행(commitment) 메커니즘이 본질. 각 스킬에 대해 YES/NO + 이유 를 먼저 출력시키면 모델 자신의 응답이 후속 행동의 제약 조건이 된다. 강한 어조는 평가 단계를 스킵하지 못하게 하는 보조 장치. 트레이드오프는 응답 길이/토큰 비용 증가.