hakmem/docs/benchmarks/BENCH_RESULTS_2025_10_28.md

Bench Results Summary (2025-10-28)

Scope
- Direct-link comparisons without LD_PRELOAD bias.
- Bench families: comprehensive (pair), tiny hot (triad), random mixed (triad).

Artifacts
- Comprehensive pair (HAKMEM vs mimalloc): `bench_results/comp_pair_20251028_065205/summary.csv`
- Tiny hot triad (HAKMEM/System/mimalloc): `bench_results/tiny_hot_triad_20251028_065249/results.csv`
- Random mixed triad: `bench_results/random_mixed_20251028_065306/results.csv`

New runs (15:49 JST)
- Tiny hot triad (cycles=80k): `bench_results/tiny_hot_triad_20251028_154941/results.csv`
  - 8–64B: HAKMEM ≈ 241–268 M; System ≈ 313–344 M; mimalloc ≈ 534–631 M
  - 128B: HAKMEM ≈ 246–263 M; System ≈ 170–176 M; mimalloc ≈ 575–586 M
- Comprehensive pair (direct-link): `bench_results/comp_pair_20251028_154955/summary.csv`
  - 16–128B lifo/fifo/interleave: HAKMEM ≈ 231–263 M、mimalloc ≈ 0.87–0.96 B
  - random: HAKMEM ≈ 114–125 M、mimalloc ≈ 179–189 M
  - mixed: HAKMEM ≈ 237 M、mimalloc ≈ 874 M

New runs (2025-10-29 00:36 JST)
- perf triad (32B, batch=100, cycles=50k): `bench_results/perf_hot_triad_20251029_003609/`
  - HAKMEM: instructions ≈ 1.716e9, cycles ≈ 2.382e8, IPC ≈ 7.21
  - System: instructions ≈ 9.186e8, cycles ≈ 1.764e8
  - mimalloc: instructions ≈ 2.543e8, cycles ≈ 9.562e7
  - 備考: Bump Shadow（ミス時のみ）ONで HAKMEM の insns が数％低下（常時の悪化なし）。
- Tiny hot triad (cycles=80k, Bump Shadow ON): `bench_results/tiny_hot_triad_20251029_003612/results.csv`
  - 8B: HAKMEM 242.92（b100）/ System 320.09 / mimalloc 556.78
  - 16B: HAKMEM 244.25（b200）/ System 320.63 / mimalloc 590.50
  - 32B: HAKMEM 239.63（b200）/ System 322.54 / mimalloc 601.70
  - 傾向: 8/16Bで小幅改善、32/64Bは誤差～微増。
- Random mixed triad (cycles=80k, Bump Shadow ON): `bench_results/random_mixed_20251029_003619/results.csv`
  - ws=200..800: HAKMEM ≈ 24.8–25.8 / System ≈ 25.8–27.0 / mimalloc ≈ 26.7–26.9
  - 傾向: 小差で推移、安定性良好。
- Comprehensive pair（PGO取り直し後）: `bench_results/comp_pair_20251029_004334/summary.csv`
  - HAKMEM（直リンク）: 16–128B ≈ 228–242 M、mixed ≈ 231.5 M
  - mimalloc（直リンク）: 16–128B ≈ 923–979 M、mixed ≈ 883 M

Instruction 削減の現状と次手
- 完了: alloc/freeホットストアの除去（macro return/HAK_STAT_FREEでビルド時ゼロ）→ insns/opを恒常的に削減。
- 実施: エントリ順序を SLL → 32/64特化(popのみ) → Mag →（Bump/Slab）に整理（SLLヒット時の分岐コストを回避）。
- A/Bで有効: Bump Shadow（ミス時のみ）→ 混合/ミス経路でinsns/opが数％低下。常時の悪化なし。
- 次手（予定）:
  - UltraFront 供給の強化（free時の前段スロットを厚くし、32/64特化popの命中率↑）。
  - 小クラスのmag初期化をスレッド開始時に寄せ、`tiny_mag_init_if_needed` の分岐をホットパスから更に後退。
  - 特化入口の間接呼び出しを静的インライン分岐（switch）に切替（関数ポインタ読みを削減）。
  - リフィル連結化は Tiny-HotではOFF維持、mixed系のみ条件A/Bで適用（総命令・ストアを抑制）。

New runs (14:19 JST)
- Tiny hot triad (cycles=40k): `bench_results/tiny_hot_triad_20251028_141853/results.csv`
  - 8–64B: HAKMEM ≈ 212–217 M; System ≈ 326–342 M; mimalloc ≈ 578–640 M
  - 128B: CSV参照（傾向は HAKMEM ≈ 218–225 M）
- Comprehensive pair (direct-link): `bench_results/comp_pair_20251028_141905/summary.csv`
  - 16–128B lifo/fifo/interleave: HAKMEM ≈ 220–238 M、mimalloc ≈ 0.81–0.94 B
  - random: HAKMEM ≈ 108–115 M、mimalloc ≈ 168–188 M
  - mixed: HAKMEM ≈ 228 M、mimalloc ≈ 860 M

New runs (10:29 JST)
- Tiny hot triad (cycles=20k): `bench_results/tiny_hot_triad_20251028_102903/results.csv`
  - 8–64B: HAKMEM ≈ 233–246 M; System ≈ 315–331 M; mimalloc ≈ 545–602 M
  - 128B: 別行に記録（CSV参照）
- Random mixed triad (cycles=100k): `bench_results/random_mixed_20251028_102930/results.csv`
  - ws={200,400,800}, seeds={42,1337}: HAKMEM ≈ 25.0 M、System ≈ 26.0–26.3 M、mimalloc ≈ 26.3–26.8 M

New runs (12:00 JST)
- Tiny hot triad (cycles=30k): `bench_results/tiny_hot_triad_20251028_115956/results.csv`
  - 8–64B: HAKMEM ≈ 228–236 M; System ≈ 309–321 M; mimalloc ≈ 533–631 M
  - 128B: CSV参照（傾向は230±数M）
- Random mixed triad (cycles=80k): `bench_results/random_mixed_20251028_120009/results.csv`
  - ws={200,400,800}, seeds={42,1337}: HAKMEM ≈ 24.6–24.9 M、System ≈ 25.6–26.1 M、mimalloc ≈ 25.5–26.4 M
- Comprehensive pair (direct-link): `bench_results/comp_pair_20251028_120031/summary.csv`
  - 16–128B lifo/fifo/interleave: HAKMEM ≈ 230–236 M、mimalloc ≈ 0.89–0.98 B
  - random: HAKMEM ≈ 113–115 M、mimalloc ≈ 188–190 M
  - mixed: HAKMEM ≈ 224 M、mimalloc ≈ 881 M

Highlights
- Comprehensive (direct-link, latest run)
  - 16–64B: mimalloc ≈ 890–950 M ops/sec; HAKMEM ≈ 255–268 M ops/sec.
  - 128B: mimalloc ≈ 900–990 M; HAKMEM ≈ 256–268 M.
  - mixed: mimalloc ≈ 892–893; HAKMEM ≈ 244–261.
- Tiny hot triad (cycles=80k)
  - 16–64B: System ≈ 300–335 M; HAKMEM ≈ 242–280 M; mimalloc ≈ 535–620 M.
  - 128B: System ≈ 170–176 M; HAKMEM ≈ 245–263 M; mimalloc ≈ 575–586 M.

Latest micro-optimizations (SLL-first + macro return + refill batch)
- 直リンク triad（cycles=80k）: `bench_results/tiny_hot_triad_20251028_095135/results.csv`
  - 8B: 252.8 M（batch=50）/ 258.0 M（batch=100）
  - 16B: 249.3 / 252.8 M
  - 32B: 248.6 / 255.8 M
  - 64B: 241±α（変化小）
- リフィルバッチA/B: `HAKMEM_TINY_REFILL_MAX_HOT=256 HAKMEM_TINY_REFILL_MAX=128` は本環境では悪化（~3–6%低下）。
  - 参考CSV: `bench_results/tiny_hot_triad_20251028_095744/results.csv`
  - 結論: 既定（HOT=192, MAX=64）付近が最良帯。
- Ultra (SLL-only, experimental) triad (cycles=80k)
  - CSV (latest): bench_results/tiny_hot_triad_20251028_082945/results.csv
  - 16–64B: HAKMEM ≈ 246–269 M（Ultra検証OFF, bat=50/100/200）。従来(220–236)から改善、通常パス帯に接近。
  - Spot (cycles=60k, batch=200): 16/32/64B ≈ 271/268/266 M。
- Random mixed triad（cycles=120k, ws∈{200,400,800}, seeds∈{42,1337}）
  - 25–27 M ops/sec 帯で拮抗。mimallocが僅差で優位、HAKMEMはSystem比で–3〜–6%程度の帯。
  - 追加ラン（cycles=100k）でも傾向同様（上記CSV参照）。

Tiny advanced sweep（2025-10-28, cycles=80k）
- スクリプト: `scripts/sweep_tiny_advanced.sh 80000 --mag64-512`
- CSV: `bench_results/sweep_tiny_adv_20251028_103702/results.csv`
- ベスト行（size, sllmul, rmax, rmaxh, mag_cap, mag_cap_c3 → throughput）
  - 16B: `16,3,64,224,256,- → 242.80 M`
  - 32B: `32,2,96,192,128,- → 244.66 M`
  - 64B: `64,1,64,224,256,512 → 245.50 M`
- 備考: `HAKMEM_TINY_PREFETCH=1` は本環境では低下傾向（32B: 234.58 → 226.30 M, L1-miss微増）。既定OFF継続。

Interpretation
- 最小命令数が効く純ホットパス（LIFO/FIFO/インターリーブ）は mimalloc が圧倒的に有利。
- 混合/ランダム系では三者の差は縮む。HAKMEMは常在コスト（SLL/マガジン/監視/統計）が残りやすいが、設計柔軟性とのトレードオフ。

What’s next
- Ultra Tiny（SLL-only, direct-link専用）を安全化 → 再計測（comprehensive/tiny hot/random mixed triad）。
- クラス別capテーブルの微調整（16/32B=128, 64B=512 を軸に再スイープ）。
- メモリ効率：退出フラッシュ＋空slab回収（実装済）を使い、steady-state RSS をA/Bで評価。必要に応じてIdle縮小（オプトイン）を導入。
 - FLINTイベント拡張を基に、頻度ベースの軽量適応（refillバッチ/フロント目標）を段階導入。

Ultra Tiny 試走メモ（実験的）
- 環境: HAKMEM_TINY_ULTRA=1, MAG_CAP=128, REMOTE_DRAIN_TRYRATE=0
- tiny hot triad の一部ケースで HAKMEM の行が欠落（Throughput行が出ずCSV未記録）。
- 結論: いくつかのサイズ/バッチで不安定。直リンク通常モードを既定とし、Ultraは当面オプトインの実験扱い。

FLINT A/B（2025-10-28）
- 概要: FLINT = FRONT（超軽量FastCacheフロント）＋ INT（遅延インテリジェンスBG）
- Triad（FRONT=1, INT=0）: 一部サイズでセグフォ（56B/64B/128Bなど）。走ったケースでも HAKMEM ≈ 98–99 M ops/s と大幅低下。
  - CSV: bench_results/tiny_hot_triad_20251028_092715/results.csv
  - ステータス: FRONTは実験中（既定OFF継続）。front の `frontend_refill_fc` の安全化・再計測が必要。
- Triad（FRONT=0, INT=1）: ベースライン相当（HAKMEM ≈ 240–248 M）。INTのオーバーヘッドはほぼ無し。
  - CSV: bench_results/tiny_hot_triad_20251028_092746/results.csv
- Random mixed（FRONT=0, INT=1）: ベースライン相当（HAKMEM ≈ 24.9–25.3 M）。
  - CSV: bench_results/random_mixed_20251028_092758/results.csv
- Comprehensive pair（FRONT=0, INT=1）: ベースライン相当（HAKMEM 16–128B ≈ 246–251 M, mixed ≈ 239 M）
  - CSV: bench_results/comp_pair_20251028_092812/summary.csv

結論（現時点）
- INT（遅延インテリジェンス）は安全に同居可能（既定OFF→A/BでON推奨）。
- FRONT（FastCacheフロント）はホットパス短縮のポテンシャルがあるが、現実装は未安定。通常はOFF、実験A/Bのみ使用。

Best-known presets（直リンク・小サイズ重視）
- `HAKMEM_TINY_TLS_SLL=1`
- `HAKMEM_TINY_REFILL_MAX_HOT=192`（既定）
- `HAKMEM_TINY_REFILL_MAX=64`（既定）
- `HAKMEM_TINY_MAG_CAP=128`（64Bは512をA/B）