164 lines
4.3 KiB
Markdown
164 lines
4.3 KiB
Markdown
|
# 実験計画 / Experiment Plan
|
|||
|
|
|
|||
|
|
## 🎯 実験の目的
|
|||
|
|
|
|||
|
|
「Debug-Only GC」アプローチの有効性を定量的に評価し、以下を実証する：
|
|||
|
|
|
|||
|
|
1. **開発効率**: GC有効時の開発速度とバグ発見率
|
|||
|
|
2. **品質保証**: リーク検出の精度と修正効率
|
|||
|
|
3. **性能特性**: GC無効時の実行性能とメモリ効率
|
|||
|
|
4. **意味論的等価性**: GCオン/オフでの動作の同一性
|
|||
|
|
|
|||
|
|
## 🔬 実験1: 開発効率の定量化
|
|||
|
|
|
|||
|
|
### 実験設定
|
|||
|
|
- **被験者**: 20名（初級10名、上級10名）
|
|||
|
|
- **タスク**: 3種類のプログラム実装
|
|||
|
|
- P2Pチャットアプリケーション
|
|||
|
|
- 簡易データベースエンジン
|
|||
|
|
- ゲームエンジン（物理演算含む）
|
|||
|
|
- **比較対象**:
|
|||
|
|
- Nyash (GC有効)
|
|||
|
|
- Rust (手動メモリ管理)
|
|||
|
|
- Go (常時GC)
|
|||
|
|
|
|||
|
|
### 測定項目
|
|||
|
|
```
|
|||
|
|
1. 実装完了時間（分）
|
|||
|
|
2. コンパイルエラー回数
|
|||
|
|
3. 実行時エラー回数
|
|||
|
|
4. メモリリーク発生数
|
|||
|
|
5. 主観的難易度（5段階評価）
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 予想結果
|
|||
|
|
- Nyash ≈ Go < Rust（実装時間）
|
|||
|
|
- Nyash < Go < Rust（メモリリーク数）
|
|||
|
|
|
|||
|
|
## 🔬 実験2: リーク検出精度
|
|||
|
|
|
|||
|
|
### 実験設定
|
|||
|
|
- **テストケース**: 100個の既知リークパターン
|
|||
|
|
- 単純な参照忘れ（30個）
|
|||
|
|
- 複雑な循環参照（30個）
|
|||
|
|
- 非同期処理でのリーク（20個）
|
|||
|
|
- プラグイン境界でのリーク（20個）
|
|||
|
|
|
|||
|
|
### 測定項目
|
|||
|
|
```rust
|
|||
|
|
struct DetectionMetrics {
|
|||
|
|
true_positive: u32, // 正しく検出
|
|||
|
|
false_positive: u32, // 誤検出
|
|||
|
|
false_negative: u32, // 見逃し
|
|||
|
|
detection_time: f64, // 検出時間（秒）
|
|||
|
|
fix_suggestion_quality: f32, // 修正提案の質（0-1）
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 評価基準
|
|||
|
|
- 検出率（Recall）: TP / (TP + FN) > 95%
|
|||
|
|
- 精度（Precision）: TP / (TP + FP) > 90%
|
|||
|
|
|
|||
|
|
## 🔬 実験3: 性能インパクト測定
|
|||
|
|
|
|||
|
|
### ベンチマークスイート
|
|||
|
|
1. **マイクロベンチマーク**
|
|||
|
|
- Box allocation/deallocation
|
|||
|
|
- Method dispatch
|
|||
|
|
- Field access
|
|||
|
|
- Collection operations
|
|||
|
|
|
|||
|
|
2. **実アプリケーション**
|
|||
|
|
- Webサーバー（リクエスト処理）
|
|||
|
|
- ゲームループ（60FPS維持）
|
|||
|
|
- データ処理（バッチ処理）
|
|||
|
|
|
|||
|
|
### 測定構成
|
|||
|
|
```nyash
|
|||
|
|
// 3つの構成で同じコードを実行
|
|||
|
|
CONFIG_1: GC有効（開発モード）
|
|||
|
|
CONFIG_2: GC無効（本番モード）
|
|||
|
|
CONFIG_3: Rustで再実装（比較用）
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 期待される結果
|
|||
|
|
```
|
|||
|
|
性能比（CONFIG_2 / CONFIG_1）:
|
|||
|
|
- スループット: 1.5-2.0倍
|
|||
|
|
- レイテンシ: 0.5-0.7倍
|
|||
|
|
- メモリ使用量: 0.8-0.9倍
|
|||
|
|
|
|||
|
|
CONFIG_2 vs CONFIG_3（Rust）:
|
|||
|
|
- 性能差: ±5%以内
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 🔬 実験4: 意味論的等価性の検証
|
|||
|
|
|
|||
|
|
### 手法: Property-Based Testing
|
|||
|
|
```nyash
|
|||
|
|
// 1000個のランダムプログラムを生成
|
|||
|
|
for i in 1..1000 {
|
|||
|
|
local program = generateRandomProgram()
|
|||
|
|
|
|||
|
|
// GC有効で実行
|
|||
|
|
local resultWithGC = executeWithGC(program)
|
|||
|
|
|
|||
|
|
// GC無効で実行
|
|||
|
|
local resultWithoutGC = executeWithoutGC(program)
|
|||
|
|
|
|||
|
|
// 結果の同一性確認
|
|||
|
|
assert(resultWithGC == resultWithoutGC)
|
|||
|
|
assert(sameMemoryTrace(program))
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 検証項目
|
|||
|
|
1. 実行結果の同一性
|
|||
|
|
2. 例外発生の同一性
|
|||
|
|
3. メモリ解放順序の決定性
|
|||
|
|
4. 副作用の発生順序
|
|||
|
|
|
|||
|
|
## 📊 実験環境
|
|||
|
|
|
|||
|
|
### ハードウェア
|
|||
|
|
- CPU: AMD Ryzen 9 5950X
|
|||
|
|
- RAM: 64GB DDR4-3600
|
|||
|
|
- Storage: Samsung 980 PRO 2TB
|
|||
|
|
|
|||
|
|
### ソフトウェア
|
|||
|
|
- OS: Ubuntu 22.04 LTS
|
|||
|
|
- Nyash: Version 1.0.0
|
|||
|
|
- Rust: 1.75.0
|
|||
|
|
- Go: 1.21
|
|||
|
|
|
|||
|
|
### 統計解析
|
|||
|
|
- 有意水準: α = 0.05
|
|||
|
|
- 多重比較: Bonferroni補正
|
|||
|
|
- 効果量: Cohen's d
|
|||
|
|
|
|||
|
|
## 📅 実験スケジュール
|
|||
|
|
|
|||
|
|
| 週 | 実験内容 | 成果物 |
|
|||
|
|
|----|---------|---------|
|
|||
|
|
| 1-2 | 環境構築・予備実験 | 実験プロトコル |
|
|||
|
|
| 3-4 | 実験1: 開発効率 | 生産性データ |
|
|||
|
|
| 5-6 | 実験2: リーク検出 | 検出精度データ |
|
|||
|
|
| 7-8 | 実験3: 性能測定 | ベンチマーク結果 |
|
|||
|
|
| 9-10 | 実験4: 等価性検証 | 形式的証明 |
|
|||
|
|
| 11-12 | データ解析・論文執筆 | 論文原稿 |
|
|||
|
|
|
|||
|
|
## 🔍 追加実験案
|
|||
|
|
|
|||
|
|
### 長期運用実験
|
|||
|
|
- 3ヶ月間の実プロジェクトでの使用
|
|||
|
|
- メンテナンス性の評価
|
|||
|
|
- チーム開発での有効性
|
|||
|
|
|
|||
|
|
### 教育効果の測定
|
|||
|
|
- プログラミング初学者への導入
|
|||
|
|
- 学習曲線の比較
|
|||
|
|
- メモリ管理概念の理解度
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
*実験計画は随時更新される可能性があります*
|