Files
hakorune/docs/archive/ai_conference_phase9_jit_design.txt

346 lines
12 KiB
Plaintext
Raw Permalink Normal View History

🚨 Critical Issue #76: SocketBox Method Call Deadlock Investigation ## 🎯 Problem Identification Complete - SocketBox method calls (bind, isServer, toString) cause infinite blocking - Root cause: Method resolution pipeline deadlock before execute_socket_method - Other Box types (ArrayBox, StringBox, MapBox) work normally - Arc<Mutex> reference sharing confirmed working (Arc addresses match = true) ## 🔧 Debug Infrastructure Added - Comprehensive debug logging in socket_box.rs (bind, isServer, clone, toString) - Method call tracing in http_methods.rs - Deadlock detection points identified at interpreter expressions.rs:462-464 ## 📋 Issue #76 Created for Copilot Investigation - Systematic root cause analysis requirements (Architecture→Parser→Runtime levels) - Comprehensive test cases: minimal/comprehensive/comparison scenarios - Strict prohibition of band-aid fixes - architectural analysis required - Hypothesis: Multiple Arc<Mutex> combinations causing circular deadlock ## 🧪 Test Suite Added - test_socket_deadlock_minimal.nyash: Minimal reproduction case - test_socket_methods_comprehensive.nyash: All methods deadlock verification - test_other_boxes_working.nyash: Normal Box operation confirmation - SOCKETBOX_ISSUE_REPRODUCTION.md: Complete reproduction guide ## 📊 Impact Assessment - Phase 9 HTTP server implementation completely blocked - SocketBox functionality entirely non-functional - Critical blocker for production readiness - Requires immediate systematic investigation 🔥 Generated with [Claude Code](https://claude.ai/code) Co-Authored-By: Claude <noreply@anthropic.com>
2025-08-14 20:55:33 +09:00
# AI大会議: Nyash Phase 9 JIT実装設計相談
## 🎯 相談の目的
Phase 8.7完了前にPhase 9 JIT実装の技術設計を確定
実装効率最大化・性能目標達成・Everything is Box哲学の最適実現
================================================================================
## 📊 現在の開発状況2025-08-14
================================================================================
### ✅ 完了済みPhase
- **Phase 8.4**: AST→MIR Lowering完全実装
- **Phase 8.5**: MIR 25命令階層化完成ChatGPT5設計
- **Phase 8.7**: 予定kilo実装 + VM BoxCall修正統合
### 📈 現在のパフォーマンス実績
```
Interpreter: 110.10ms (1x baseline)
VM: 119.80ms (0.9x slower) ← BoxCall戻り値問題
WASM: 8.12ms (13.5x faster) ← 実証済み
```
### 🎯 JIT目標
- **短期目標**: 50-100倍高速化WASM 13.5倍を大幅超越)
- **中期目標**: 実用アプリケーション開発での競争力確保
- **長期目標**: Phase 10 AOT実装への基盤確立
================================================================================
## 🔧 MIR 25命令完全仕様ChatGPT5設計
================================================================================
### Tier-0: 普遍コア8命令
```
Const, BinOp, Compare, Branch, Jump, Phi, Call, Return
```
- **効果**: Const/Phi=pure, BinOp/Compare=pure, Branch/Jump/Return=control
- **位置づけ**: 将来のJIT/AOT/WASMすべてで必須の基盤
### Tier-1: Nyashセマンティクス12命令
```
NewBox // 強所有のBox生成所有森のード
BoxFieldLoad // Boxのフィールド読みEverything is Box核心
BoxFieldStore // Boxのフィールド書きmut効果
BoxCall // Boxのメソッド呼び出し動的/静的両方)
Safepoint // 分割finiや割込み許可ポイント
RefGet // 参照(強/弱を問わず)を値として取得
RefSet // 参照の差し替え(所有規則検証付き)
WeakNew // weak ハンドル生成(非所有リンク作成)
WeakLoad // weak から生存チェック付きで強参照取得失効時null
WeakCheck // weak の生存確認bool
Send // Bus送信io効果
Recv // Bus受信io効果
```
- **革命的価値**: 所有森weakBusが言語一次市民として表現可能
- **効果**: BoxFieldStore/RefSet=mut, Send/Recv=io, 他は基本pure
### Tier-2: 実装補助・最適化友好5命令
```
TailCall // 末尾呼び出し(スタック節約)
Adopt // 所有移管: this が子を強所有に取り込む
Release // 強所有を解除weak化 or null化
MemCopy // 小さなメモリ移動(構造体/配列最適化フック)
AtomicFence // 並行時の順序保証Actor/Port境界で使用
```
- **位置づけ**: 性能・安全検査・移植性の安定化
### 効果システム(最適化の鍵)
- **pure**: Const, BinOp, Compare, Phi, RefGet, WeakNew, WeakLoad, WeakCheck
- **mut**: BoxFieldStore, RefSet, Adopt, Release, MemCopy
- **io**: Send, Recv, Safepoint, AtomicFence
- **control**: Branch, Jump, Return, TailCall
- **context依存**: Call, BoxCall呼び先効果に従属
**最適化ルール**: 「pure同士の再順序化OK」「mutは同一Box/同一Fieldで依存保持」「ioは再順序化禁止」
================================================================================
## 🚀 JIT設計の核心技術選択
================================================================================
### 1. JITバックエンド選択の判断軸
#### Option A: Cranelift実装容易派
**利点**:
- Rust純正、統合容易
- 学習コスト低、開発速度高
- WebAssembly origin、Nyash WASM既存実装との親和性
- 中程度最適化で実用十分
**欠点**:
- 最高峰最適化はLLVMに劣る
- エコシステムがLLVMより小さい
#### Option B: LLVM最適化重視派
**利点**:
- 世界最高峰の最適化エンジン
- 豊富な最適化パス(ボックス化解除、インライン展開等)
- 他言語との競争力確保
**欠点**:
- 実装複雑、学習コスト高
- 起動時間長JITコンパイル時間
- 依存関係重い
#### Option C: 段階的アプローチ(現実的派)
```
Phase 9A: Cranelift Baseline (実証・学習)
Phase 9B: LLVM Ultimate (最適化・競争力)
Phase 10: AOT統合 (最終形態)
```
### 2. Baseline JIT実装範囲
#### Strategy A: 全25命令対応
- 利点: 完全性、将来の拡張が容易
- 欠点: 実装時間長、複雑度高
#### Strategy B: 段階的実装
```
Step 1: Tier-0のみ8命令→ 基本制御フロー動作確認
Step 2: Tier-1追加20命令→ Everything is Box実現
Step 3: Tier-2完成25命令→ 最適化機能追加
```
#### Strategy C: 頻出命令優先
- プロファイリングで頻出命令特定
- 80/20ルール適用20%の命令で80%の性能改善)
### 3. MIR→JIT変換方式
#### Approach A: Direct Compilation
```rust
// MIR命令を直接ネイティブコードに変換
MirInstruction::BinOp { dst, op: Add, lhs, rhs } => {
emit_load_register(rhs);
emit_add_instruction(lhs, rhs);
emit_store_register(dst);
}
```
#### Approach B: Template-based Compilation
```rust
// 事前定義済みコードテンプレートを使用
templates.get("BinOp_Add").instantiate(dst, lhs, rhs);
```
#### Approach C: Profile-guided Optimization
```rust
// 実行時プロファイル情報を活用
if hotspot_detected(basic_block) {
apply_aggressive_optimization();
}
```
================================================================================
## 💎 Nyash特化最適化戦略
================================================================================
### 1. Everything is Box最適化
#### Box→プリミティブ値最適化ボックス化解除
```nyash
// Before: Box operations
local a = new IntegerBox(10)
local b = new IntegerBox(20)
local c = a.add(b)
// After: Primitive operations (JIT optimized)
int64_t a = 10;
int64_t b = 20;
int64_t c = a + b;
```
#### エスケープ解析によるスタック割り当て
```rust
// Heap allocation回避
if !escapes_current_function(box_instance) {
allocate_on_stack(box_instance);
}
```
### 2. weak参照システム最適化
#### WeakNew/WeakLoad/WeakCheck効率実装
```rust
// 世代タグによるO(1)生存チェック
struct WeakRef {
ptr: *mut Box,
generation: u64,
}
fn weak_load(weak_ref: &WeakRef) -> Option<Box> {
if weak_ref.generation == (*weak_ref.ptr).generation {
Some((*weak_ref.ptr).clone())
} else {
None // 失効済み
}
}
```
### 3. デリゲーションfrom構文最適化
#### 静的解決による直接呼び出し
```nyash
// Before: Dynamic dispatch
from Parent.method()
// After: Static resolution (JIT optimized)
Parent_method_direct_call();
```
#### メソッド解決キャッシュ
```rust
// メソッド解決結果をキャッシュ
method_cache: HashMap<(TypeId, MethodName), FunctionPtr>
```
### 4. fini()システム統合
#### Safepoint効率実装
```rust
// インライン vs コールバック
if lightweight_operation() {
inline_safepoint_check();
} else {
register_safepoint_callback();
}
```
#### 自動メモリ管理協調
```rust
// GCとJITの協調
gc_integration: {
stack_map: StackMap, // GCルート情報
safepoint_table: SafepointTable, // 安全停止点
deopt_table: DeoptTable, // 逆最適化情報
}
```
================================================================================
## 🎯 深く考えるべき技術的判断ポイント
================================================================================
### Critical Decision 1: Cranelift vs LLVM
**判断基準**:
- 開発速度 vs 最終性能
- 学習コスト vs 最適化能力
- Nyash特性Everything is Boxへの適応度
**Nyash特有考慮点**:
- Box操作の頻度が極めて高い → ボックス化解除が性能の鍵
- weak参照が言語核心 → 効率的な生存チェックが必須
- fini()システム → GC統合が必須
### Critical Decision 2: 最適化優先順位
**Option A**: ボックス化解除最優先
- Everything is Box → プリミティブ化で劇的高速化期待
**Option B**: メソッド解決最優先
- from構文、BoxCall頻発 → 動的ディスパッチ削減
**Option C**: メモリ管理最優先
- weak参照、fini()システム → GC協調最適化
### Critical Decision 3: 段階実装戦略
**All-in approach**: 25命令完全実装から開始
- 利点: 完全性、将来拡張容易
- 欠点: 初期成功が遅い、複雑度高
**Incremental approach**: Tier順次実装
- 利点: 早期成功、段階検証
- 欠点: 設計変更リスク、重複作業
### Critical Decision 4: パフォーマンス目標設定
**Conservative**: WASM 13.5倍 → JIT 30-50倍
**Aggressive**: WASM 13.5倍 → JIT 100-300倍
**Moonshot**: WASM 13.5倍 → JIT 500-1000倍
各目標での実装戦略・最適化要件が大きく異なる
================================================================================
## ❓ AI大会議への具体的質問事項
================================================================================
### 🤖 Gemini先生への質問理論・設計重視
1. **アーキテクチャ選択**:
Nyashの特性Everything is Box、25命令MIR、fini/weak参照を考慮して、Cranelift vs LLVM vs 段階的アプローチ、どれが最適?
2. **最適化戦略**:
Box操作のボックス化解除、weak参照の効率実装、デリゲーション最適化、どれを最優先すべき理論的根拠は
3. **メモリ管理統合**:
fini()システム + weak参照 + JIT最適化の協調設計で、技術的に最も堅実なアプローチは
4. **段階実装設計**:
25命令を段階的に実装する場合の最適な順序・境界は各段階での検証方法は
### 🤖 ChatGPT(codex)先生への質問(実装・現実重視)
1. **実装優先度**:
Phase 9実装で最短時間で最大効果を得る実装優先順位は開発工数の現実的見積もりは
2. **技術的実現性**:
NyashのEverything is Box哲学をJITで効率的に実装する現実的な技術アプローチは実装上の落とし穴は
3. **パフォーマンス予測**:
現在のWASM 13.5倍を基準に、JITで現実的に達成可能な性能向上倍率は各最適化の寄与度予測は
4. **開発戦略**:
Copilot + Claude協調開発でPhase 9を成功させるための具体的開発ステップ・役割分担は
### 🎯 統合判断が必要な項目
1. **技術選択**: Cranelift(実装容易) vs LLVM(最適化強力) の最終判断
2. **実装範囲**: Baseline JITでの命令対応範囲8/20/25命令
3. **最適化焦点**: ボックス化解除 vs メソッド解決 vs メモリ管理
4. **性能目標**: 現実的な高速化倍率設定30/100/500倍
5. **開発期間**: Phase 9完成までの現実的スケジュール
================================================================================
## 📋 参考資料・関連ファイル
================================================================================
- **MIR完全仕様**: docs/予定/native-plan/MIR仕様書.txt
- **全体計画**: docs/予定/native-plan/copilot_issues.txt
- **Phase 8.7設計**: docs/予定/native-plan/issues/phase_8_7_real_world_memory_testing.md
- **現在状況**: docs/CURRENT_TASK.md
- **実行性能**: benchmarks/ ディレクトリ
- **MIR実装**: src/mir/ ディレクトリ
================================================================================
## 🎯 期待される大会議成果
================================================================================
1. **技術方針確定**: JITバックエンド・実装戦略の明確な決定
2. **最適化戦略**: Nyash特化最適化の優先順位・手法確定
3. **実装計画**: Phase 9の具体的実装ステップ・期間設定
4. **性能目標**: 現実的で野心的な性能向上目標設定
5. **協調開発**: Copilot + Claude の効率的役割分担
この相談により、Phase 9 JIT実装が成功し、Nyashが真に競争力のあるプログラミング言語として確立されることを期待します。
---
作成日: 2025-08-14
作成者: Claude (AI大会議準備)
優先度: CriticalPhase 8.7完了前の事前設計)