94 lines
2.5 KiB
Markdown
94 lines
2.5 KiB
Markdown
|
[Archived] 旧10.1系ドキュメントです。最新は ../INDEX.md を参照してください。
|
|||
|
|
|
|||
|
|
# Phase 10.1f - テストとベンチマーク
|
|||
|
|
|
|||
|
|
## 🎯 このフェーズの目的
|
|||
|
|
Differential Testingでバグを発見し、性能向上を検証する。
|
|||
|
|
|
|||
|
|
## 🧪 Differential Testing戦略
|
|||
|
|
|
|||
|
|
### 1. テストフレームワーク
|
|||
|
|
```rust
|
|||
|
|
pub fn differential_test(code: &str) -> TestResult {
|
|||
|
|
// CPythonで実行（オラクル）
|
|||
|
|
let python_result = capture_python_execution(code)?;
|
|||
|
|
|
|||
|
|
// Nyashで実行
|
|||
|
|
let nyash_result = execute_with_pythonparser(code)?;
|
|||
|
|
|
|||
|
|
// 結果比較
|
|||
|
|
compare_results(python_result, nyash_result)
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2. 比較項目
|
|||
|
|
- **標準出力** - print文の結果
|
|||
|
|
- **戻り値** - 関数の返す値
|
|||
|
|
- **例外** - エラーメッセージ（正規化後）
|
|||
|
|
- **副作用** - グローバル変数の変更等
|
|||
|
|
|
|||
|
|
### 3. テストコーパス
|
|||
|
|
```
|
|||
|
|
test_corpus/
|
|||
|
|
├── basic/ # 基本構文テスト
|
|||
|
|
├── stdlib/ # 標準ライブラリから抜粋
|
|||
|
|
├── pypi_top100/ # 人気ライブラリから抜粋
|
|||
|
|
└── edge_cases/ # エッジケース集
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 📊 ベンチマーク
|
|||
|
|
|
|||
|
|
### 1. 性能測定対象
|
|||
|
|
```python
|
|||
|
|
# 数値計算ベンチマーク
|
|||
|
|
def mandelbrot(max_iter=100):
|
|||
|
|
# フラクタル計算
|
|||
|
|
pass
|
|||
|
|
|
|||
|
|
# ループベンチマーク
|
|||
|
|
def sum_of_primes(n):
|
|||
|
|
# 素数の和
|
|||
|
|
pass
|
|||
|
|
|
|||
|
|
# 再帰ベンチマーク
|
|||
|
|
def ackermann(m, n):
|
|||
|
|
# アッカーマン関数
|
|||
|
|
pass
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2. 測定項目
|
|||
|
|
- **実行時間** - CPython vs Nyash
|
|||
|
|
- **メモリ使用量** - 最大/平均
|
|||
|
|
- **コンパイル時間** - AST変換時間
|
|||
|
|
- **フォールバック率** - 関数別統計
|
|||
|
|
|
|||
|
|
## 🐛 バグ発見と報告
|
|||
|
|
|
|||
|
|
### 発見されたバグの例
|
|||
|
|
```
|
|||
|
|
[BUG-001] for/else semantics mismatch
|
|||
|
|
Python: else executed when no break
|
|||
|
|
Nyash: else never executed
|
|||
|
|
Fixed in: commit abc123
|
|||
|
|
|
|||
|
|
[BUG-002] Division operator difference
|
|||
|
|
Python: 5/2 = 2.5 (float)
|
|||
|
|
Nyash: 5/2 = 2 (integer)
|
|||
|
|
Fixed in: commit def456
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## ✅ 完了条件
|
|||
|
|
- [ ] Differential Testingフレームワークが動作する
|
|||
|
|
- [ ] 基本的なテストコーパスが準備されている
|
|||
|
|
- [ ] 10個以上のバグを発見・修正
|
|||
|
|
- [ ] ベンチマークで2倍以上の高速化を確認
|
|||
|
|
- [ ] CI/CDパイプラインに統合されている
|
|||
|
|
|
|||
|
|
## 📈 成功の測定
|
|||
|
|
- **カバレッジ率**: 70%以上の関数がコンパイル
|
|||
|
|
- **性能向上**: 純Pythonループで2-10倍
|
|||
|
|
- **バグ発見数**: Phase毎に10件以上
|
|||
|
|
- **テスト成功率**: 95%以上
|
|||
|
|
|
|||
|
|
## ⏭️ 次のフェーズ
|
|||
|
|
→ Phase 10.1g (ドキュメント作成)
|