49 lines
1.7 KiB
Markdown
49 lines
1.7 KiB
Markdown
|
# Learning Features A/B Benchmark Results
|
|||
|
|
|
|||
|
|
学習機能（ACE Controller / ELO / CAP/W_MAX Learner）の有無による性能差をまとめるためのファイルです。
|
|||
|
|
ベンチ実行のたびに「条件 + 結果」をここに追記していき、論文や設計検証の基礎データとして利用します。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 記録フォーマット（推奨）
|
|||
|
|
|
|||
|
|
- 共通メタデータ:
|
|||
|
|
- `git` commit: `<hash>`
|
|||
|
|
- Build: 例 `make bench_random_mixed_hakmem`, `HAKMEM_TINY_HEADERLESS=1` など
|
|||
|
|
- Bench: 実行コマンド（引数含む）
|
|||
|
|
- 環境:
|
|||
|
|
- CPU/メモリ/コア数（簡易でOK）
|
|||
|
|
- `HAKMEM_MODE` / `HAKMEM_ACE_ENABLED` / `HAKMEM_LEARN` / その他主要 ENV
|
|||
|
|
- 結果:
|
|||
|
|
- Throughput (M ops/s)
|
|||
|
|
- Page faults / RSS（わかる範囲で）
|
|||
|
|
- 備考（学習の収束有無、安定までの時間など）
|
|||
|
|
|
|||
|
|
例:
|
|||
|
|
|
|||
|
|
```text
|
|||
|
|
[Run 2025-12-03]
|
|||
|
|
- git: abcdef1
|
|||
|
|
- Build: make bench_random_mixed_hakmem
|
|||
|
|
- Bench: HAKMEM_MODE=balanced HAKMEM_ACE_ENABLED=0 HAKMEM_LEARN=0 ./bench_random_mixed_hakmem 256 100000 4
|
|||
|
|
- Result: 72.3 M ops/s, PF=1.2e6, RSS=512MB
|
|||
|
|
- Notes: Baseline (learning OFF)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
```text
|
|||
|
|
[Run 2025-12-03]
|
|||
|
|
- git: abcdef1
|
|||
|
|
- Build: make bench_random_mixed_hakmem
|
|||
|
|
- Bench: HAKMEM_MODE=balanced HAKMEM_ACE_ENABLED=1 HAKMEM_LEARN=0 ./bench_random_mixed_hakmem 256 100000 4
|
|||
|
|
- Result: 78.1 M ops/s, PF=1.1e6, RSS=520MB
|
|||
|
|
- Notes: ACE Controller ON, UCB1 収束後に +8% 前後の改善
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 現時点のメモ
|
|||
|
|
|
|||
|
|
- まだ本格的な学習 A/B データはここに集約されていません。
|
|||
|
|
- すでに存在する分析レポート（`ACE_PHASE1_TEST_RESULTS.md`, `MID_LARGE_FINAL_AB_REPORT.md` など）の結果を、順次ここにも要約していくと、論文執筆時に参照しやすくなります。
|
|||
|
|
|