hakorune/docs/private/ideas/new-features/2025-08-29-ai-compact-notation-protocol.md

# AI-Nyash Compact Notation Protocol (ANCP)
Status: Idea → Design Complete
Created: 2025-08-29
Updated: 2025-08-29 (Gemini & Codex分析統合、スモークテスト統合追加)
Priority: High
Category: AI Integration / Code Compression / Testing Infrastructure

## 概要
AIとNyashの効率的な通信のための圧縮記法プロトコル。予約語を1-2文字の記号に変換し、トークン数を大幅削減しながら、副次的にコード整形機能も提供する。さらに、既存のスモークテスト基盤との統合により、品質保証も自動化する。

## 動機
- AIのコンテキストウィンドウ制限への対応（50-90%削減目標）
- 人間が書いたコードをAIに効率的に渡す必要性
- Nyashパーサーとの100%同期による確実性
- 圧縮→展開プロセスでの自動コード整形
- 既存テスト基盤との統合による品質保証

## 設計詳細

### 基本的な変換例
```nyash
// 元のコード
box Cat from Animal {
    init { name, age }
    birth() { 
        me.name = "Tama" 
    }
}

// ANCP圧縮後
$Cat@Animal{#{name,age}b(){m.name="Tama"}}

// プロトコルヘッダー付き
;ancp:1.0 nyash:0.5;
$Cat@Animal{#{name,age}b(){m.name="Tama"}}
```

### 記号マッピング体系
```
【型・オブジェクト操作系】
box      → $   # Box定義
new      → n   # インスタンス生成
me       → m   # 自己参照

【構造・スコープ系】
from     → @   # 継承/デリゲーション
init     → #   # フィールド初期化
static   → S   # 静的定義
local    → l   # ローカル変数

【制御フロー系】
if       → ?   # 条件分岐
else     → :   # else節
loop     → L   # ループ
return   → r   # 戻り値

【メソッド系】
birth    → b   # コンストラクタ
override → O   # オーバーライド
```

## 技術的実装設計（Rust）

### 1. Lexer拡張設計
```rust
// 双方向トランスコーダー
pub struct AncpTranscoder {
    // 静的マップ（phf使用でO(1)ルックアップ）
    nyash_to_ancp: phf::Map<&'static str, &'static str>,
    ancp_to_nyash: phf::Map<&'static str, &'static str>,
    
    // 位置情報マッピング（Source Map相当）
    span_map: SpanMap,
    
    // バージョン情報
    version: AncpVersion,
}

// LosslessToken層（空白・コメント保持）
struct Token {
    kind: TokenKind,
    span: Span,
    raw: RawLexemeId,
    leading_trivia: Trivia,
    trailing_trivia: Trivia,
}

// Dialect検出
enum Dialect {
    Nyash,
    ANCP(Version),
}
```

### 2. トークン効率最適化
```python
# tiktoken実測スクリプト
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")  # GPT-4等

def measure_tokens(code):
    return len(enc.encode(code))

# 実測して最適な記号を選定
original = 'box Cat from Animal { init { name } }'
ancp = '$Cat@Animal{#{name}}'

reduction = 1 - (measure_tokens(ancp) / measure_tokens(original))
print(f"Token reduction: {reduction:.1%}")
```

### 3. 双方向変換保証テスト戦略
```rust
// プロパティベーステスト
#[test]
fn roundtrip_property(code in any_valid_nyash()) {
    let transcoder = AncpTranscoder::new();
    let (ancp, _) = transcoder.encode(&code)?;
    let (restored, _) = transcoder.decode(&ancp)?;
    assert_eq!(code, restored);  // 完全一致
}

// AST同値性テスト
#[test]
fn ast_equivalence(code: &str) {
    let ast_original = parse_nyash(code);
    let ancp = transcode_to_ancp(code);
    let ast_ancp = parse_ancp(ancp);
    assert_ast_eq!(ast_original, ast_ancp);
}

// ファジングテスト
#[cfg(fuzzing)]
fuzz_target!(|data: &[u8]| {
    if let Ok(s) = std::str::from_utf8(data) {
        let _ = transcode_roundtrip(s);
    }
});
```

### 4. デバッグ体験の維持
```rust
// ハイブリッドエラー表示
fn format_error(span: Span, ancp_src: &str, nyash_src: &str) {
    let ancp_token = get_token_at(ancp_src, span);
    let nyash_token = map_to_original(ancp_token);
    eprintln!("Error at {} ({})", ancp_token, nyash_token);
    // 例: "Error at @f (from)"
}

// IDE統合（LSP）
impl LanguageServer for NyashLsp {
    fn hover(&self, position: Position) -> Hover {
        // ANCP記号にホバーすると元の予約語を表示
        let original = self.map_to_original(position);
        Hover { contents: format!("ANCP: {} → Nyash: {}", ...) }
    }
}
```

## スモークテストとの統合

### 統一検証フレームワーク
```nyash
// 検証用Box - スモークテストとANCP検証を統合
box TestValidatorBox {
    init { patterns, mode, transcoder }
    
    birth() {
        me.patterns = new ArrayBox()
        me.mode = "smoke"  // smoke/full/ancp/roundtrip
        me.transcoder = new AncpTranscoder()
    }
    
    // 共通のパターンチェック（既存スモークテストの仕組み）
    checkPatterns(output) {
        loop(me.patterns.hasNext()) {
            local pattern
            pattern = me.patterns.next()
            
            if (not output.contains(pattern)) {
                return false
            }
        }
        return true
    }
    
    // Nyashコード実行して検証（既存）
    validateScript(scriptPath) {
        local output
        output = me.runNyash(scriptPath)
        return me.checkPatterns(output)
    }
    
    // ANCP変換して実行・検証（新規）
    validateAncp(ancpPath) {
        // 1. ANCP → Nyash変換
        local nyashCode
        nyashCode = me.transcoder.decode(ancpPath)
        
        // 2. 実行（既存の実行パスを再利用）
        local output
        output = me.runNyashCode(nyashCode)
        
        // 3. パターン検証（既存のcheckPatternsを再利用！）
        return me.checkPatterns(output)
    }
    
    // 双方向テスト（ANCP特有）
    validateRoundtrip(scriptPath) {
        // 元の実行結果
        local originalOutput
        originalOutput = me.runNyash(scriptPath)
        
        // Nyash → ANCP → Nyash → 実行
        local ancp
        ancp = me.transcoder.encode(scriptPath)
        local restored
        restored = me.transcoder.decode(ancp)
        local roundtripOutput
        roundtripOutput = me.runNyashCode(restored)
        
        // 実行結果が同一か検証
        return originalOutput == roundtripOutput
    }
}
```

### 統合スモークテストスクリプト
```bash
#!/bin/bash
# 統一スモークテスト（Nyash & ANCP対応）

# 共通の検証関数
run_test() {
    local mode=$1    # nyash/ancp/roundtrip
    local file=$2    # ファイルパス
    local pattern=$3 # 期待パターン
    
    case "$mode" in
        "ancp")
            # ANCP → Nyash変換 → 実行
            output=$(./target/release/nyash --from-ancp "$file" 2>&1)
            ;;
        "roundtrip")
            # Nyash → ANCP → Nyash → 実行
            ancp=$(./target/release/nyash --to-ancp "$file")
            output=$(echo "$ancp" | ./target/release/nyash --from-ancp - 2>&1)
            ;;
        *)
            # 通常のNyash実行
            output=$(./target/release/nyash "$file" 2>&1)
            ;;
    esac
    
    # 共通のパターン検証（既存のスモークテストと同じ！）
    echo "$output" | grep -q "$pattern"
}

# 自動テスト生成
generate_ancp_tests() {
    for test in examples/*.nyash; do
        # Nyashテストから自動的にANCPテストを生成
        ./tools/nyash2ancp "$test" > "${test%.nyash}.ancp"
        
        # 同じ期待値パターンで両方をテスト
        pattern=$(extract_expected_pattern "$test")
        
        echo "Testing $test (Nyash)..."
        run_test nyash "$test" "$pattern"
        
        echo "Testing ${test%.nyash}.ancp (ANCP)..."
        run_test ancp "${test%.nyash}.ancp" "$pattern"
        
        echo "Testing roundtrip for $test..."
        run_test roundtrip "$test" "$pattern"
    done
}
```

### CI/CD統合
```yaml
# .github/workflows/smoke.yml への追加
jobs:
  smoke-ancp:
    runs-on: ubuntu-latest
    needs: smoke  # 通常のスモークテスト後に実行
    env:
      CARGO_TERM_COLOR: always
      NYASH_DISABLE_PLUGINS: '1'
    steps:
      - name: Checkout
        uses: actions/checkout@v4
      
      - name: Build with ANCP support
        run: cargo build --release -j32 --features ancp
      
      - name: Run ANCP roundtrip tests
        run: |
          # すべてのサンプルでANCP往復テスト
          for f in examples/*.nyash; do
            echo "Testing ANCP roundtrip: $f"
            ./tools/test_ancp_roundtrip.sh "$f"
          done
      
      - name: Run ANCP smoke tests
        run: |
          # 既存のスモークテストをANCPモードでも実行
          ANCP_MODE=1 bash tools/smoke_phase_10_10.sh
      
      - name: Measure token reduction
        run: |
          # 実際のトークン削減率を測定・報告
          ./tools/measure_ancp_efficiency.sh examples/*.nyash
```

### 共通化のメリット

1. **コード再利用**: 
   - 既存のパターン検証ロジックをそのまま活用
   - `grep`ベースの柔軟な検証方法を継承

2. **テスト網羅性**:
   - すべてのNyashテストが自動的にANCPテストにもなる
   - 双方向変換の正確性を継続的に検証

3. **開発効率**:
   - 新機能追加時、Nyashテストを書けばANCPテストも自動生成
   - スモークテストの期待値パターンを共有

4. **品質保証**:
   - ANCP変換によるセマンティクスの保持を自動検証
   - AIが生成したANCPコードも同じ基準で検証可能

5. **将来の拡張性**:
   - WebAssembly出力との統合も同じフレームワークで可能
   - 他の中間表現（MIR等）も同様に統合可能

## 実装ロードマップ（更新版）

### Phase 1: 基礎実装（2週間）
- [ ] tiktoken実測による最適記号選定
- [ ] 固定辞書（20語）でTranscoder実装
- [ ] 基本的な往復テスト
- [ ] **既存スモークテストとの基本統合**

### Phase 2: パーサー統合（3週間）
- [ ] Lexer拡張（Dialect検出）
- [ ] TokenKind統一化
- [ ] SpanMapによるエラー位置マッピング
- [ ] **TestValidatorBox実装**

### Phase 3: 品質保証（2週間）
- [ ] プロパティベーステスト
- [ ] ファジングテスト
- [ ] ベンチマーク（性能測定）
- [ ] **自動ANCP テスト生成スクリプト**

### Phase 4: ツール統合（3週間）
- [ ] CLI: --view=ancp|nyash|hybrid
- [ ] VSCode拡張（ホバー変換）
- [ ] プロトコルヘッダー処理
- [ ] **CI/CDパイプライン統合**

### Phase 5: AI統合（4週間）
- [ ] 並列コーパス生成
- [ ] ファインチューニング実験
- [ ] 実運用評価
- [ ] **AIコード検証の自動化**

## リスクと対策

### 技術的リスク
1. **記号衝突**: 既存演算子との衝突 → 慎重な記号選定
2. **デバッグ困難**: 圧縮コードの可読性 → ハイブリッド表示
3. **バージョン互換**: 将来の拡張 → ヘッダーによるバージョニング
4. **テスト複雑性**: ANCP特有のバグ → スモークテスト統合で早期発見

### 運用リスク
1. **AIの誤解釈**: 記号の誤認識 → 明示的なヘッダー
2. **人間の混乱**: 2つの記法混在 → 明確な使い分け
3. **ツール対応**: エコシステム分断 → 段階的移行
4. **テスト負荷**: 2倍のテスト実行 → 並列実行とキャッシュ活用

## 成功指標（更新版）
- トークン削減率: 50%以上（目標70%）
- 往復変換成功率: 100%
- パース時間増加: 10%以内
- AIエラー率改善: 30%以上
- **スモークテスト合格率: 100%（Nyash/ANCP両方）**
- **CI実行時間増加: 20%以内**

## 関連技術・参考
- JavaScript Minification (Terser, UglifyJS)
- WebAssembly (.wat ⇔ .wasm)
- Protocol Buffers (スキーマベース圧縮)
- Source Maps (位置情報マッピング)
- **Nyashスモークテスト基盤**（パターン検証方式）

## 専門家レビュー
- Gemini: トークナイザ最適化、記号体系化の重要性を指摘
- Codex: Rust実装設計、テスト戦略の詳細を提供
- Claude: スモークテストとの統合可能性を発見

## 次のアクション
1. tiktoken実測実験の実施
2. 最小プロトタイプの作成
3. ChatGPTさんとの実装協議
4. **既存スモークテストへのANCPモード追加**

---
*このアイデアは2025-08-29にGeminiさん、Codexさんとの深い技術討論を経て、実装可能な設計として成熟し、さらにスモークテストとの統合により品質保証も含めた完全なソリューションとなりました。*