hakorune/docs/private/papers/paper-c-ancp-compression/data/benchmark-plan.md

# ANCP Benchmark Plan - 論文用データ収集

## 📊 実験設計

### 1. 圧縮性能ベンチマーク

#### データセット
```
datasets/
├── small/           # 100-1000 LOC サンプル
├── medium/          # 1000-10000 LOC モジュール  
├── large/           # 10000+ LOC アプリケーション
└── nyash-compiler/  # 80k LOC 自己ホスティングコンパイラ
```

#### 測定指標
| Metric | Unit | Purpose |
|--------|------|---------|
| Character Reduction | % | ファイルサイズ削減 |
| Token Reduction | % | AI理解性向上 |
| AST Node Count | count | 構造複雑度 |
| Compression Time | ms | 実用性評価 |
| Decompression Time | ms | 開発体験 |

### 2. 可逆性検証

#### ラウンドトリップテスト
```rust
#[test]
fn test_reversibility() {
    for sample in test_samples() {
        let compressed = ancp.compress(sample, Level::Fusion);
        let restored = ancp.decompress(compressed);
        assert_eq!(normalize(sample), normalize(restored));
        
        // MIR等価性も検証
        let mir_original = compile_to_mir(sample);
        let mir_restored = compile_to_mir(restored);
        assert_eq!(mir_original, mir_restored);
    }
}
```

#### 測定データ
- **サンプル数**: 10,000ファイル
- **成功率**: 100%（目標）
- **エラー分析**: 失敗ケースの詳細分析

### 3. AI効率性評価

#### LLM Token Consumption
| Model | Context | Original | ANCP | Improvement |
|-------|---------|----------|------|-------------|
| GPT-4 | 128k | 20k LOC | 40k LOC | 2.0x |
| Claude | 200k | 40k LOC | 80k LOC | 2.0x |
| Gemini | 100k | 20k LOC | 40k LOC | 2.0x |

#### Code Understanding Tasks
```python
# AI理解性評価スクリプト
def evaluate_ai_understanding(model, code_samples):
    results = []
    
    for original, ancp in code_samples:
        # 元のコードでのタスク
        original_score = model.complete_code_task(original)
        
        # ANCPでのタスク
        ancp_score = model.complete_code_task(ancp)
        
        results.append({
            'original_score': original_score,
            'ancp_score': ancp_score,
            'compression_ratio': calculate_compression(original, ancp)
        })
    
    return analyze_correlation(results)
```

### 4. 実用性評価

#### 開発ワークフロー
```bash
# 通常の開発フロー
edit file.nyash          # P層で開発
nyashc --compact file.c  # C層で配布
nyashc --fusion file.f   # F層でAI投入
```

#### 測定項目
- 開発効率（P層での作業時間）
- 変換速度（P→C→F変換時間）  
- デバッグ効率（エラーの逆引き精度）

---

## 📈 予想される結果

### 圧縮率
- **Layer C**: 48% ± 5% (Standard deviation)
- **Layer F**: 90% ± 3% (Consistently high)
- **Comparison**: 1.6x better than Terser

### 可逆性
- **Success Rate**: 99.9%+ (目標)
- **Edge Cases**: 特殊文字・Unicode・コメント処理

### AI効率
- **Context Expansion**: 2-3x capacity increase
- **Understanding Quality**: No degradation (hypothesis)

---

## 🔧 実験プロトコル

### Phase 1: 基本機能実装
1. P→C→F変換器
2. ソースマップ生成器  
3. 可逆性テストスイート

### Phase 2: 大規模評価
1. 10,000サンプルでの自動評価
2. 各種メトリクス収集
3. エラーケース分析

### Phase 3: AI評価
1. 3つの主要LLMでの効率測定
2. コード理解タスクでの性能比較
3. 実用的な開発シナリオでのテスト

### Phase 4: 論文執筆
1. 結果の統計解析
2. 関連研究との詳細比較
3. 査読対応の準備

---

## 📝 データ収集チェックリスト

- [ ] **Compression Benchmarks**: 各レイヤーでの削減率
- [ ] **Reversibility Tests**: 10k samples roundtrip verification
- [ ] **AI Efficiency**: LLM token consumption measurement  
- [ ] **Performance**: Transformation speed benchmarks
- [ ] **Real-world**: Self-hosting compiler case study
- [ ] **User Study**: Developer experience evaluation
- [ ] **Comparison**: Head-to-head with existing tools

---

## 🎯 論文の説得力

### 定量的証拠
- 圧縮率の客観的測定
- 可逆性の数学的証明
- AI効率の実証データ

### 実用的価値  
- 動作するプロトタイプ
- 実際のコンパイラでの検証
- 開発ツール統合

### 学術的新規性
- 90%可逆圧縮の達成
- AI最適化の新パラダイム
- Box-First設計の有効性実証

---

**次のステップ**: データ収集の自動化スクリプト実装