Claude Code Skillsの自動最適化 — プロンプト最適化研究をSkillに適用

**投稿者:** Yusuke🇫🇮｜AIエンジニア/デザイン (@yusuke_post)

**投稿日時:** 2026-02-27

**カテゴリ:** 💻 AI/開発

**有益度:** ⭐⭐⭐⭐⭐ (ブックマーク1,871件, いいね1,039件)

**元URL:** https://x.com/yusuke_post/status/2027348800331972703

---

概要

Claude Code の Skills（タスク固有の手順書 .md ファイル）を、プロンプト最適化研究の手法を使って自動改善するアプローチの実験報告。

関連研究背景

プロンプト自動最適化の先行研究：

• **AutoPrompt（2020）** — 勾配法でトークン列を探索
• **APE（2023）** — LLM自身に生成・評価させる
• **ProTeGi/APO（EMNLP 2023）** — 失敗を「テキスト勾配」として自然言語で記述し改訂するループ
• **OPRO（2023）、DSPy（2023）** — 各アプローチで同問題を扱う

→ これらを「数文のプロンプト」から「長く構造化されたSkill」に拡張

アプローチ

シンプルな自動改善ループ：

1. **初期Skillを用意**（あえて"適当"に作る）

2. **Skillを実行** → 成果物を生成（正解データは参照しない）

3. **成果物 vs 人間の完成品を比較** → 差分を自然言語で記述（=テキスト勾配）

4. **テキスト勾配でSkillを書き直す**

5. ②〜④を繰り返す

**重要:** ②では正解データを参照しない設計 → Skillの改善が出力品質に純粋に現れる

実験結果

**タスク:** ヒアリングメモからSaaS導入提案書を作成

**データ:** CRM・会計・PM・セキュリティの4案件、5回改訂

| イテレーション | 改善点 | スコア変化 |

|---|---|---|

| 初期 | 「含める」「示す」のみ、How が不在 | ベースライン |

| Iter 1 | ROI試算の計算手順を自動追加 | **+8.4点** |

| Iter 2 | セキュリティ案件のライセンス費+MDR費の比較漏れ修正 | **+3.8点** |

| Iter 3〜 | さらなる細部改善 | 継続改善 |

ポイント

• 社内に眠っている**過去の完成品がそのまま正解データ**として使える
• 人間が手動でSkillを改善するより、**差分分析の自動化**が効率的
• 「何を含めるか」だけでなく「どう計算・判断するか」まで書くことが重要

---

*このアプローチはVibe Coder BootcampのSkill開発にも応用できる可能性あり*