Files
hakorune/CURRENT_TASK_restored.md

956 lines
67 KiB
Markdown
Raw Normal View History

# Restart Notes — Ny Syntax Alignment (20250907)
目的
- SelfHosting 方針Nyのみで工具を回す前段に合わせて、Ny 構文とコーディング規約を明示化し、最小版ツールの完走性を優先。
Ny 構文(実装時の基準)
- 1行1文セミコロン非使用。
- break / continue を使わない(関数早期 return、番兵条件、if 包みで置換)。
- else は直前の閉じ波括弧と同一行(`} else {`})。
- 文字列の `"``\` は確実にエスケープ。
- 反復は `loop(条件) { …; インクリメント }` を基本とし、必要に応じて「関数早期 return」型で早期脱出。
短期タスクSyntax 合意前提で最小ゴール)
1) include のみ依存木Nyのみ・配列/マップ未使用)を完走化
- `apps/selfhost/tools/dep_tree_min_string.nyash`
- FileBox/PathBox + 文字走査のみで JSON 構築(配列/マップに頼らない)
- `make dep-tree``tmp/deps.json` を出力
2) using/module 対応は次段(構文・優先順位をユーザーと再すり合わせ後)
- 優先: `module > 相対 > using-path`、曖昧=エラー、STRICT ゲート(要相談)
3) ブリッジ Stage 1 は保留
- `NYASH_DEPS_JSON=<path>` 読み込みログ出力のみを最小パッチで用意MIR/JIT/AOT は不変)
備考
- Cranelift 側の作業は別ブランチで継続。SelfHosting ブランチは Ny 工具の安定化に集中。
- 構文の最終合意後、using/module 版(配列/マップ最小 APIへ拡張。
## Grammar Sync — Phase 12.7 合わせ(現状と方針)
参照ドキュメント(一次ソース)
- Phase 12.7 統合: `docs/development/roadmap/phases/phase-12.7/README.md`
- Grammar 最終決定: `docs/development/roadmap/phases/phase-12.7/grammar-specs/grammar-reform-final-decision.txt`
- Grammar 技術仕様: `docs/development/roadmap/phases/phase-12.7/grammar-specs/grammar-technical-spec.txt`
- 実装チェックリスト: `docs/development/roadmap/phases/phase-12.7/implementation/implementation-final-checklist.txt`
- ANCP Token Spec (参照): `docs/development/roadmap/phases/phase-12.7/ancp-specs/ANCP-Token-Specification-v1.md`
実装状況Phase 12.7 との整合)
- OK: `peek`else必須・ブロック可`continue``birth` 統一、`fn{}` ラムダP0、糖衣 basic`|>`, `?.`, `??`, `+=/-=/*=/=`, `..`)ゲート済。
- OK: `Parent::method``::` トークン+ `Parent::method(args)` 解析P1相当の先行
- OK: フィールド宣言 `name: Type` を受理P0: 型はパースのみ、意味付けは今後)。
- 差分(非致命):
- import 未実装(現状は `using` のみ Phase0: `nyashstd` 制限)。
- `public name: Type` の単行は未対応(`public { ... }` ブロックは対応)。
- レガシー `>>`ARROWトークンとASTが残存12.7 では不要)。
- Tokenizer に `fn` の重複割り当て(`FN`/`FUNCTION`)が存在(動作は壊していないが整理対象)。
合意に向けた軽微タスクSelfHosting 主線を維持したまま)
- T1: `public name: Type` 単行を Box 内で受理(`public { ... }` は後方互換維持)。
- T2: `import` を追加(現状 `using` と並行運用、Phase0は読み取りのみ将来の解決器に接続
- T3: 12.7 厳格モードゲート(例: `NYASH_STRICT_12_7=1`
- `>>` を無効化(パーサ拒否 or トークナイズ抑止)。
- 追加キーワード群legacy拡張の一部を“識別子扱い”へフォールバック実験用
- T4: Tokenizer の `fn` 重複を解消(`FN` を正とし `FUNCTION` 二重割り当てを削除)。
受け入れ基準Grammar Sync
- sugar_level=none/basic の双方でスモークが通る。
- `peek` else 未指定時に適切なエラー(現状維持)。
- `public name: Type` が Box 内でフィールドとして扱われる最小P0
- 厳格モードで `>>` が受理されない/互換モードでは現状維持。
検証コマンド(例)
- `NYASH_SYNTAX_SUGAR_LEVEL=none cargo test -p nyash_self_main -- tests::sugar_basic_test -- --nocapture`none でも tokenizer/parseは通ること
- `NYASH_SYNTAX_SUGAR_LEVEL=basic cargo test -p nyash_self_main -- tests::sugar_pipeline_test -- --nocapture`
- `NYASH_STRICT_12_7=1 ./target/release/nyash --backend vm apps/smokes/grammar/peek_basic.nyash``>>` を含むコードが拒否される)
## Bitwise/Shift — main 取り込みと現状
- origin/main でビット演算(&, |, ^, <<, >>)が Grammar/Tokenizer/AST/MIR に統合済み。レガシー `>>` ARROW は撤退。
- 追加テストmain
- `src/tests/parser_bitops_test.rs`(代表式 `1 + 2 << 3 & 7` の構文)
- `src/tests/vm_bitops_test.rs``(5&3)+(5|2)+(5^1)+(1<<5)+(32>>3) == 48``1<<100` マスク確認)
- 確認結果(ローカル):
- MIR バックエンドは 48 で合格OK
- VM バックエンドは現状 `Unsupported integer operation: BitAnd`VM 側の実装が未導入のため)
取り込み計画selfhosting-dev に main を統合)
1) ローカル変更を一時退避stashし、`origin/main` をマージ。
2) コンフリクト解消:`src/jit/lower/builder/cranelift.rs` は main 側の更新ARROW撤退/SHR採用を優先。
3) 検証MIR 経路で bitops スモーク(期待 48
4) 次段VM の bitopsi64限定、シフトは `rhs&63` マスク)を実装→テスト有効化。
5) LLVM/E2Egrammar 解禁後に `apps/tests/ny-llvm-bitops/` を有効化MIR直構築は現状担保
実行メモ(代表)
- MIR スモーク: `printf "return (5 & 3) + (5 | 2) + (5 ^ 1) + (1 << 5) + (32 >> 3)\n" > tmp/bitops_smoke.nyash && ./target/debug/nyash --backend mir tmp/bitops_smoke.nyash``Result: 48`
- VM は現状未対応(実装後に同式で確認)。
TODObitops
- [ ] origin/main を selfhosting-dev にマージconflict 解消)。
- [ ] MIR 経路のスモーク確認48
- [ ] VM: i64 の `& | ^ << >>` 実装(`rhs&63` マスク)。
- [ ] tests: `vm_bitops_test.rs` を有効化VM で合格)。
- [ ] docs: ARROW(>>) 撤退と `|>` への一本化を明記。
## SelfHost — Includeonly Dependency TreePhase 0
スコープPhase 0 最小)
- NyのみArray/Map不使用で include 依存木を構築し、純JSONを出力。
- using/module/import は次段。Runner は `NYASH_DEPS_JSON` をログ読み込みのみ。
現状
- ツール: `apps/selfhost/tools/dep_tree_min_string.nyash`include専用、再帰・文字列走査
- 出力: `make dep-tree``tmp/deps.json`純JSON化、先頭ログの除去は `[tasks].dep_tree` で吸収)。
- 走査: コメント(`//`, `#`)・文字列内の `include` を無視する状態機械を導入(誤検出抑制)。
- サンプル: `apps/selfhost/smokes/dep_smoke_root.nyash`(子: `dep_smoke_child.nyash`)。
出力仕様・受け入れ基準: docs/selfhost/dep_tree_min_string.md に移設CURRENT_TASKは要点のみ表記
残タスクPhase 0 必須)
- P0-2: スモーク(循環あり/なし)と合わせて確認(追加済み)。
- P0-3: docs への移設(完了)。
任意Phase 0.5
- stderr固定の徹底将来Runner側の冗長出力をenvゲート化
- ルートパスの正規化(`.`,`..` の整理)と最大深さ/件数の安全弁(オプション)。
検証(代表)
- `echo apps/selfhost/smokes/dep_smoke_root.nyash | ./target/release/nyash --backend vm apps/selfhost/tools/dep_tree_min_string.nyash`
- `echo apps/selfhost/smokes/dep_smoke_cycle_a.nyash | ./target/release/nyash --backend vm apps/selfhost/tools/dep_tree_min_string.nyash`
- `make dep-tree`ENTRYは標準入力1行 or 既定パスにフォールバック)
# Quick Plan — SelfHost (Restart Safe)
- Goals: Ny-only dependency tree (include → later using/module), JSON out; simple file-bridge to existing MIR→VM→AOT without tight coupling.
- Deliverables:
- Minimal tool: `apps/selfhost/tools/dep_tree_min_string.nyash` (include-only, recursion via FileBox/PathBox, no Array/Map)
- Full tool: `apps/selfhost/tools/dep_tree_simple.nyash` (include + using/module, strict/explicit resolution)
- Task/Make: `nyash.toml [tasks].dep_tree` and `make dep-tree` (outputs `tmp/deps.json`)
- Bridge Stage 1: Runner reads `NYASH_DEPS_JSON=<path>` and logs (no behavior change)
- Order:
1) Finish include-only tool to completion (Ny-only, strict 1statement lines)
2) Harden full tool (using/module, module > relative > using-path, ambiguous=error, STRICT gate)
3) Add Runner hook for `NYASH_DEPS_JSON` (log only)
- Quick run:
- `make dep-tree` → writes `tmp/deps.json`
- `./target/release/nyash --run-task dep_tree`
# CURRENT TASK (Compact) — Phase 15 / Self-HostingNy→MIR→MIR-Interp→VM 先行)
このドキュメントは「いま何をすれば良いか」を最小で共有するためのコンパクト版です。詳細は git 履歴と `docs/`phase-15を参照してください。
— 最終更新: 20250908 (LLVM Core13 安定化 P0 進捗更新)
【Quick Update — LLVM Core13 P0】
現状
- ビルド環境は LLVM 18 検出済み(`LLVM_SYS_180_PREFIX=/usr/lib/llvm-18`)。
- 代表的なビルドエラーは次の3点に収束。
1) Opaque Pointer 由来: `PointerType::get_element_type()` 不在 → i8* 判別経路をヒューリスティックに簡素化。
2) IntegerBox API: `.value()` 誤用 → `.value` に修正(フィールド参照)。
3) BinaryOp 網羅: BitAnd/BitOr/BitXor/Shl/Shr 未対応 → いったん `_ => todo!()` で回避。
対応済み
- `src/backend/llvm/compiler.rs`
- `env.box.new` の opaque 対応i8* は `nyash.box.from_i8_string` を呼ぶ単純化)。
- `.value()``.value` を修正BinOpパス
- 末尾 mock BinOp に `_ => todo!()` を追加。
残タスクP0完了条件
- `env.box.new`new_i64x 側)の引数 i64 化クロージャを完全インライン化lifetime エラー解消)。
- BinOp 未網羅の match 箇所をもう1か所整理`_ => todo!()` か軽実装)。
- 再ビルド通過後、代表スモークの一致確認。
代表スモーク
- ビルド: `LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix) cargo build --release --features llvm`
- 実行: `tools/build_llvm.sh apps/tests/mir-compare-multi/main.nyash -o app && ./app`
- 受け入れ: VM と同一の戻り値Core13 正規化パスに依存:`NYASH_MIR_CORE13=1` 既定ON
メモ
- 作業ディレクトリ: `/mnt/c/git/nyash-project/nyash_llvm`branch: `llvm-dev`
- 次の commit で P0 を締め、P1ビット演算/Shift 実装)に移行する。
【Phase 17.1 — LLVM Core13 安定化専用worktree/branch
目的
- Core13 正規化後の MIR を LLVM AOT に下ろし、VM と同値の代表ケースを安定動作させる。
作業環境
- worktree: /mnt/c/git/nyash-project/nyash_llvm branch: llvm-dev, origin/llvm-dev 追従)
- LLVM 18 前提: `LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix)`
短期タスクP0
- Opaque Pointer 対応: Inkwell 0.6 + LLVM 18 に合わせ、`get_element_type()` 等を使用しない降ろしに修正。
- `env.box.new` の引数ハンドリングをヒューリスティックに単純化i8* は `nyash.box.from_i8_string`
- IntegerBox API 整合: `.value()``.value` に是正(フィールド参照)。
- BinaryOp の網羅性: `BitAnd/BitOr/BitXor/Shl/Shr` 未対応を `_ => todo!()` で一旦回避(代表スモーク優先)。
検証P0
- ビルド: `LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix) cargo build --release --features llvm`
- 代表スモーク: `tools/build_llvm.sh apps/tests/mir-compare-multi/main.nyash -o app && ./app`VM一致
後続P1
- ビット演算/シフトの実装と検証LLVM 降ろし/IR 生成/実行互換)。
- AOT 実行の戻り値と型変換経路の整理i64/handle→Box materialize
【ハンドオフ20250906 final— String.length 修正 完了JIT 実行を封印し四体制へ】
概要
- 目的: AOT/JITAOT で発生していた `StringBox.length/len` が 0 になる不具合の是正Lower の二段フォールバック:`nyash.string.len_h``nyash.any.length_h`)。
- 結果: 当該不具合は修正・確認完了AOT/VM で期待値。JIT 直実行の継続調査は打ち切り、実行モードは「インタープリターVMCranelift(EXE)LLVM(EXE)」の4体制へ移行。
【Phase 15.17 追記 — Core13 純化モード 実装/稼働・AOT shim 拡張】
概要
- Core13 純化モード(厳格)を導入: `NYASH_MIR_CORE13_PURE=1`
- Builder 段: `new``ExternCall(env.box.new, [type, …args])` を直接生成(`NewBox/birth` 非生成)
- Unary(/!/~): 直接展開(`Const+BinOp/Compare`
- WeakRef(weak_new/load): 純化ONでは生成回避パススルー
- Optimizer 安全網: Load/Store→`env.local.get/set` 変換、最終MIRで13命令以外はエラー
- 実行系:
- VM: `env.local.get/set``env.box.new` を実装BoxFactoryRegistry 連動)
- LLVM AOT: `env.local.get/set` の Lowering と `env.box.new` shim を追加
- NyRT 追加: `nyash.env.box.new` / `nyash.env.box.new_i64x` (最大4引数)
- NyRT 追加: `nyash.box.from_i8_string`i8*→StringBox`nyash.box.from_f64`f64→FloatBox
- Lowering: 引数を i64 ハンドルに正規化int/ptr→i64、i8*→from_i8_string、f64→from_f64
- Cranelift (スケルトン): `env.local.get/set` / `env.box.new` を実行ループに最小実装将来のAOT出力の布石
検証
- `cargo test`: 206 passed / 0 failed / 24 ignored通常
- 純化ON選択的 skip あり): グリーン。`src/tests/mir_pure_envbox.rs` 追加で `env.box.new` 生成を検証
実装(済)
- LowerCore: 二段フォールバック実装を追加Param/Local/リテラル)。
- `emit_len_with_fallback_param`/`_local_handle`/`_literal`
- `core.rs``len/length` で二段フォールバックを使用。結果をローカルスロットへ保存Return で拾えるように)
- BoxCall 共通ops_ext:
- StringBox の `len/length` を最優先で処理Param/Local/リテラル/handle.of
- リテラル `new StringBox("...")``length` は即値畳み込みconst 返却)。
- Hostcall registry 追補: `nyash.string.len_h` を ReadOnly 登録 + 署名 `(Handle)->I64` 追加。
- JIT ブリッジ: `extern_thunks.rs``nyash_string_len_h` を追加、`cranelift` ビルダーに `SYM_STRING_LEN_H` を登録。
- ポリシー: `StringBox.length/len` マッピングを `nyash.any.length_h``nyash.string.len_h` に是正。
- デッドコード整理: 旧 `lower_boxcall_simple_reads` を削除conflict 回避)。
- ツール/スモーク: `tools/aot_smoke_cranelift.sh` 追加、`apps/smokes/jit_aot_string_length_smoke.nyash` 追加。
— 15.17 追加 実装(済)
- Core13 純化モード: `NYASH_MIR_CORE13_PURE=1`Builder/Optimizer/Verifier 連携)
- VM: `env.local.get/set`, `env.box.new` を実装
- LLVM AOT: `env.box.new` shimnew/new_i64x+ 引数 i8*/f64 のハンドル化 helper 追加
- Cranelift: ExternCall の最小実装get/set/newを追加スケルトン
- テスト: `src/tests/mir_pure_envbox.rs` 追加(純化 new→env.box.new の生成確認)
- テスト: `src/tests/mir_pure_e2e_vm.rs` 追加純化ONで VM 実行: new StringBox + length の e2e
- テスト: `src/tests/mir_pure_locals_normalized.rs` 追加locals が env.local.get/set に正規化されることを確認)
- テスト: `src/tests/mir_pure_llvm_build.rs` 追加feature=llvm 時に純化ONで .o を正常生成できることを確認。実行の同値性はAOT実装拡張後に別途追加予定
- テスト: `src/tests/mir_pure_e2e_arith.rs` 追加純化×VMで加算の e2e
- テスト: `src/tests/mir_pure_e2e_branch.rs` 追加純化×VMで条件分岐の e2e
- テスト: `src/tests/mir_pure_only_core13.rs` 追加最終MIRが13命令のみで構成されることを静的検査
- CI: Core13 純化(LLVM) ワークフロー追加(`.github/workflows/core13-pure-llvm.yml`。LLVM 18 をセットアップし、`--features llvm` で純化ONテストを実行。
- CI: Core13 純化モード専用ワークフローを追加(`.github/workflows/core13-pure.yml`)。`NYASH_MIR_CORE13_PURE=1 cargo test --all-targets` を実行。
確認状況(最終)
- `apps/smokes/jit_aot_string_min.nyash`concat/eq: AOT で `Result: 1`OK
- `apps/smokes/jit_aot_string_length_smoke.nyash`: AOT .o 生成/リンク・実行とも良好(稀発の segfault 調査は「低優先」に移行)。
- `apps/smokes/jit_aot_any_len_string.nyash`: AOT で `Result` が期待値0 問題は解消)。
- 備考: JIT 直実行の既知の不安定性は、JIT 実行封印に伴い調査終了とする(アーカイブ扱い)。
残課題(方針更新後)
P0: 実行モード整理JIT 実行封印)
- ランタイム実行は「InterpreterVM」に限定。ネイティブ配布は「Cranelift AOT(EXE)LLVM AOT(EXE)」。JIT 関連のランタイムフラグ説明は docs で封印明記。
P1: AOT 安定化(低頻度 segfault の追跡:低優先)
- 稀な DT_TEXTREL 警告・segfault は PIE/LTO/relro/TLS/extern 登録順の再確認を残課題として維持(優先度は下げる)。
P2: リファクタPhase A継続振る舞い不変
- Hostcall シンボル `SYM_*` 統一、`core/string_len.rs` への集約、観測フックの整理は継続。JIT 実行依存の観測は停め、VM/AOT 観測を優先。
P3: Core13 純化 仕上げ(今回の続き)
- Cranelift AOT: 実オブジェクト出力で `env.local/env.box` のシンボル連携(現状は実行スケルトンのみ)
- LLVM AOT: `env.box.new_i64x` の引数拡張(>4, TLV支援と型復元の精度UP文字列/浮動/配列 等)
- Builder 純化の徹底: Load/Store/WeakRef を完全非生成(全経路点検)
- E2E 純化スモーク: `apps/smokes_pure13/` を追加VM/LLVM EXE の結果一致)
- CI: 純化ON ジョブを常時実行最終MIR 13命令チェック含む
進捗20250906 終了報告)
- ops_ext: StringBox.len/length の結果を必ずローカルに保存するよう修正Return が確実に値を拾える)
- 対象: param/local/literal/handle.of 各経路。`dst` があれば `local_index` に slot を割当てて `store_local_i64`
- デバッグ計測を追加
- JIT Lower 追跡: `NYASH_JIT_TRACE_LOWER=1`BoxCall の handled 判定box_typedst 有無)
- Return 追跡: `NYASH_JIT_TRACE_RET=1`known/param/local の命中状況)
- ローカルslot I/O: `NYASH_JIT_TRACE_LOCAL=1``store/load idx=<N>` を吐く)
- String.len_h 実行: `NYASH_JIT_TRACE_LEN=1`thunk 到達と any.length_h フォールバック値を吐く)
- 再現確認
- `apps/smokes/jit_aot_any_len_string.nyash` は依然 Result: 0JIT-direct
- 追跡ログ(要 `NYASH_JIT_TRACE_LOWER=1 NYASH_JIT_TRACE_RET=1 NYASH_JIT_TRACE_LOCAL=1`
- `BoxCall ... method=length handled=true box_type=Some("StringBox") dst?=true`
- ローカル slot の流れ: `idx=0` recv(handle) → `idx=1` string_len → `idx=2` any_len → `idx=3` cond → select → `idx=4` dst 保存 → Return で `load idx=4`
- つまり lowering/Return/ローカル材化は正しく配線されている。
JIT 直実行に関する未解決点import 解決先の差異疑い 等)は封印に伴いアーカイブ化。必要時に `docs/development/current/` へ復元して再開する。
暫定変更(フォールバック強化)
- `ops_ext` の StringBox.len で「リテラル復元NewBox(StringBox, Const String))」を param/local より先に優先。
- JIT-AOT 経路で文字列リテラルの length は常に即値化select/hostcall を経由せず 3 を返す)。
- ただし今回のケースでは local 経路が発火しており、まだ 0 のままhostcall 実行が 0 を返している疑い)。
未解決/次アクション(デバッグ指針)
- [ ] `nyash.string.len_h` が実際にどの関数へリンクされているかを確認
- Cranelift JIT: `src/jit/lower/builder/cranelift.rs``builder.symbol(...)` 群は設定済みだが、実行時に thunk 側の `eprintln` が出ない。
- 追加案: `emit_host_call` で宣言した `func_id``builder.symbol` 登録可否の整合をダンプ(シンボル直列化や missing import の検知)。
- [ ] `extern_thunks::nyash_string_len_h` へ確実に到達させるため、一時的に `emit_len_with_fallback_*``SYM_STRING_LEN_H` を文字列リテラル直書きではなく定数経由に統一。
- [ ] `nyash.string.from_u64x2` の呼び出し可否を同様にトレース(`NYASH_JIT_TRACE_LOCAL=1` の直後に `NYASH_JIT_TRACE_LEN=1` が見えるか)
- [ ] ワークアラウンド検証: `NYASH_JIT_HOST_BRIDGE=1` 強制でも 0 → host-bridge 経路の呼び出しが発火していない可能性。bridge シンボル登録も再確認。
メモ/所見
- lowering と Return 材化ローカルslot への保存→Return で loadは動いている。値自体が 0 になっているので hostcall 側の解決/戻りが疑わしい。
- AOT .o の生成は成功。segv は今回は再現せず。
実行コマンド(デバッグ用)
- `NYASH_JIT_TRACE_LOWER=1 NYASH_JIT_TRACE_RET=1 NYASH_JIT_TRACE_LOCAL=1 NYASH_AOT_OBJECT_OUT=target/aot_objects/test_len_any.o ./target/release/nyash --jit-direct apps/smokes/jit_aot_any_len_string.nyash`
- 追加で thunk 到達確認: `NYASH_JIT_TRACE_LEN=1 ...`(現状は無出力=未到達の可能性)
Phase A 進捗(実施済)
- A1: Hostcall シンボルの定数化(直書き排除)完了
【ハンドオフ20250906 4th— GUI/egui 表示テスト計画Cranelift/LLVM × Windows/WSL
目的
- 以前は Windows exe で egui ウィンドウ表示を確認できていたが、現状で再現が不安定な報告あり。Cranelift/LLVM と OS 組み合わせ別に手順と期待結果を明文化し、再現性を担保する。
前提・重要ポイント
- プラグイン版 EguiBox は Windows 専用で実ウィンドウ分岐(`#[cfg(all(windows, feature = "with-egui"))]`。Linux/WSL では `run()` はスタブvoidでウィンドウは出ないX 転送の有無に関係なく)。
- Windows でウィンドウ表示を行うには、`nyash-egui-plugin``--features with-egui` でビルドし、`nyash.toml``plugin_paths`(または `NYASH_PLUGIN_PATHS`)に DLL のパスが解決できること。
- Linux でウィンドウ表示を確認したい場合は「Rust 例gui_simple_notepad」または「ビルトイン EguiBoxnyash 本体を `--features gui` でビルドし、専用 Nyash スクリプトを使用)」を利用する。
テストマトリクス(手順と期待結果)
1) Windows × CraneliftJIT-direct/EXE 相当)
- 準備: `cargo build --release --features cranelift-jit`
- プラグイン: `cargo build -p nyash-egui-plugin --release --features with-egui`
- 実行JIT-direct 経路): `powershell -ExecutionPolicy Bypass -File tools\egui_win_smoke.ps1`
- 期待: Egui ウィンドウが表示される(アプリ終了までブロッキング)。
2) Windows × LLVMEXE/直実行)
- LLVM 準備: `tools\windows\ensure-llvm18.ps1 -SetPermanent`
- プラグイン: `cargo build -p nyash-egui-plugin --release --features with-egui`
- Nyash 本体: `cargo build --release --features llvm`
- 直実行: ` .\target\release\nyash.exe --backend llvm apps\egui-hello\main.nyash`
- AOT EXE: `tools\build_llvm.ps1 apps\egui-hello\main.nyash -Out egui_hello.exe`` .\egui_hello.exe`
- 期待: どちらの経路でも Egui ウィンドウが表示されるDLL が `plugin_paths` に解決可能であること)。
3) WSL × CraneliftJIT-direct/EXE 相当)
- 準備: `cargo build --release --features cranelift-jit`
- 実行: `./target/release/nyash --jit-direct apps/egui-hello/main.nyash`
- 期待: 実ウィンドウは出ない(プラグインの `run()` はスタブ。エラーなく終了void
- 備考: GUI 表示が必要な場合は Rust 例(`cargo run --features gui-examples --example gui_simple_notepad --release`)を利用。
4) WSL × LLVMEXE/直実行)
- 準備: `./tools/llvm_check_env.sh``LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix) cargo build --release --features llvm`
- 実行: `./target/release/nyash --backend llvm apps/egui-hello/main.nyash`
- 期待: 実ウィンドウは出ない(スタブ)。
- 備考: GUI 表示が必要な場合は Rust 例、もしくは nyash 本体を `--features gui` でビルドし、ビルトイン EguiBox 用の Nyash スクリプトを別途用意(要サンプル整備)。
診断スイッチ(共通)
- `NYASH_DEBUG_PLUGIN=1`: プラグインのロードパス/解決状況を表示
- `NYASH_CLI_VERBOSE=1`: プラグインホスト初期化やランタイムの詳細ログ
- Windows/プラグインの DLL 解決が怪しい場合は `NYASH_PLUGIN_PATHS` で DLL ディレクトリを明示(`;` 区切り)
既知の制約 / TODO
- Linux/WSL でプラグイン版 EguiBox の `run()` は現在スタブ(実ウィンドウなし)。将来的に `#[cfg(target_os = "linux")]` 分岐で eframe 実装を追加し、X11/Wayland でも表示可能にする。
- ビルトイン EguiBox`src/boxes/egui_box.rs`)は `--features gui` でビルド時に有効。Nyash スクリプト側の API はプラグイン版と異なる(`setTitle/setSize/addText/run`。Linux GUI 確認用にビルトイン用サンプルapps/egui-builtin/)を追加して整備する。
- Windows AOT リンクは MSVC `link.exe` を既定fall back: clang。lld へのスイッチ(速度優先)を将来オプション化検討。
次アクション(引き継ぎ TODO
- [ ] Windows: 4通りの実行Cranelift 直/JIT、LLVM 直、AOT EXE`apps/egui-hello/main.nyash` のウィンドウ表示を再確認(`NYASH_DEBUG_PLUGIN=1` でログ採取)。
- [ ] WSL: Cranelift/LLVM の直実行は「スタブ終了」が期待値であることを README/ガイドに明記。GUI が必要なら Rust 例 or ビルトイン EguiBox 経路を案内。
- [ ] Linux 向けプラグイン `with-egui` 実装の導入可否を検討(`plugins/nyash-egui-plugin/src/lib.rs``winrun` と類似の `linrun` を追加)。
- [ ] ビルトイン EguiBox 用の Nyash サンプルを `apps/egui-builtin/` として追加し、`--features gui` での手順を `dev/selfhosting/` または `docs/` に追記。
- `nyash.handle.of` / `nyash.string.len_h` / `nyash.console.birth_h``SYM_*` に統一
- A2: string_len ヘルパ抽出(共通化)完了
- `src/jit/lower/core/string_len.rs` 新設、`emit_len_with_fallback_*` を移設
- 呼び出し元はそのまま(挙動は不変)
- A3: 観測の統一(第一弾)
- string_len 内で `observe::lower_hostcall` を発火len_h/any.length_h
- Cranelift/ObjectBuilder の `emit_host_call[_typed]``NYASH_JIT_TRACE_IMPORT=1` によるインポート解決ログを追加
観測結果A3 導入後)
- `NYASH_JIT_TRACE_IMPORT=1``nyash.string.len_h` / `nyash.any.length_h` の import 呼び出しを確認JIT/AOT 両方)
- それでも `NYASH_JIT_TRACE_LEN=1` の thunk 到達ログは出ず → 依然解決先に差異がある疑い(要継続調査)
■ 実行系の最終方針Phase 15 着地)
- ランタイム: Interpreter / VM
- 配布: Cranelift AOT (EXE) / LLVM AOT (EXE)
- JIT 直実行: 封印(ドキュメント上も「実験的/無効」へ集約)
■ 検証チェックリスト(更新)
- VM: `./target/release/nyash --backend vm apps/smokes/jit_aot_string_min.nyash` → Result:1
- AOT(Cranelift): `./tools/build_aot.sh apps/smokes/jit_aot_string_length_smoke.nyash -o app``./app` 実行 → 期待結果
- AOT(Windows oneshot): `pwsh -File tools/windows/build_egui_aot.ps1 -Input apps/egui-hello-plugin/main.nyash -Out app_egui` → 画面表示
— Phase A無振る舞い変更リファクタ方針継続
- A1: Hostcall シンボルを定数に統一(直書き排除)
- `"nyash.handle.of"``jit::extern::handles::SYM_HANDLE_OF`
- `"nyash.string.len_h"``jit::extern::collections::SYM_STRING_LEN_H`
- `"nyash.console.birth_h"` → 既存の定数へ(なければ `extern::...` に追加して使用)
- A2: 長さ取得の共通化
- 新規: `src/jit/lower/core/string_len.rs`
- 既存の `emit_len_with_fallback_{param,local,literal}` をこのモジュールへ抽出し、`core.rs`/`ops_ext.rs` から呼び出すだけにする(挙動は据え置き)。
- 目的: 重複と分岐のばらけを解消し、シンボル差し替えや観測フックを一点で行えるようにする。
※ Phase A は「振る舞いを変えない」ことを厳守する。
2) 診断イベントの追加(軽量)
- `emit_len_with_fallback_*``lower_box_call(len/length)``observe::lower_hostcall` を追加し、
Param/Local/リテラル/handle.of どの経路か、select の条件string_len==0をトレース可能にする`NYASH_JIT_EVENTS=1`)。
3) AOT segfault (稀発) の追跡(低優先)
- `tools/aot_smoke_cranelift.sh` 実行中に稀に segv`.o` 生成直後/リンク前後)。
- `nyash.string.from_u64x2` 載せ替えと DT_TEXTREL 警告が出るので、PIE/LTO/relro 周りと TLS/extern の登録順を確認。
4) 警告のノイズ低減(低優先)
- `core_hostcall.rs` の unreachable 警告case 統合の名残)。
- `jit/lower/*` の unused 変数/unused mut の警告。
影響ファイル(今回差分)
- `src/jit/lower/core.rs`len/length 二段フォールバック呼出し、保存強化)
- `src/jit/lower/core/ops_ext.rs`StringBox len/length 優先処理、リテラル即値畳み込み、保存)
- `src/jit/hostcall_registry.rs``nyash.string.len_h` 追補)
- ドキュメント: README(ja/en) の実行モード更新、ガイドegui AOTに oneshot スクリプト反映
- `src/jit/extern/collections.rs``SYM_STRING_LEN_H` 追加)
- `src/jit/lower/extern_thunks.rs``nyash_string_len_h` 追加)
- `src/jit/lower/builder/cranelift.rs``SYM_STRING_LEN_H` のシンボル登録)
- `tools/aot_smoke_cranelift.sh`(新規)
- `apps/smokes/jit_aot_string_length_smoke.nyash`(新規)
再現/確認コマンド
- ビルドJIT/AOT: `cargo build --release --features cranelift-jit`
- JITAOT.o出力: `NYASH_AOT_OBJECT_OUT=target/aot_objects/test_len_any.o ./target/release/nyash --jit-direct apps/smokes/jit_aot_any_len_string.nyash`
- AOT 連結〜実行: `bash tools/aot_smoke_cranelift.sh apps/smokes/jit_aot_string_min.nyash app_str`
次アクション(引き継ぎ TODO
- [ ] Return の後方走査材化を実装BoxCall/Call/Select 等の定義→保存→Return 接続)。
- [ ] `emit_len_with_fallback_*` / `lower_box_call(len/length)` にイベント出力を追加(選択分岐/経路ログ)。
- [ ] AOT segv の最小再現収集PIE/relro/TLSの前提確認`nyrt` 側エクスポート/リンカフラグ点検。
- [ ] `NYASH_USE_PLUGIN_BUILTINS=1` 時の `length` も robust path を常に使用することを E2E で再確認。
- [ ] Cranelift AOT: `env.local/env.box` を実オブジェクト出力に反映link/name 解決の道付け)
- [ ] LLVM AOT: `nyash.env.box.new_i64x` の引数≥5およびTLV化の検討、引数型の復元精度UP
- [ ] Builder 純化の網羅化Load/Store/WeakRef 非生成の全経路テスト追加)
- [ ] 純化ON E2E スモークVM/LLVMと CI 常時ジョブの追加
メモ
- `jit_aot_any_len_string.nyash``return s.length()` の Return 経路解決が決め手。材化を強化すれば `3` が期待値。
- 既存の Array/Map 経路・他の smokes は影響なしlen/size/get/has/set の HostCall/PluginInvoke は従来どおり)。
■ 進捗サマリ
- Phase 12 クローズアウト完了。言語糖衣12.7-B/P0と VM 分割は反映済み。
- Phase 15Self-Hosting: Cranelift AOTへフォーカス移行。
- 設計/仕様ドキュメントとスモーク雛形を追加済み。
- 設計: `docs/backend-cranelift-aot-design.md`
- API案: `docs/interfaces/cranelift-aot-box.md`
- LinkerBox: `docs/interfaces/linker-box.md`
- スモーク仕様: `docs/tests/aot_smoke_cranelift.md`
- 雛形スクリプト: `tools/aot_smoke_cranelift.sh`, `tools/aot_smoke_cranelift.ps1`
- README にセルフホスト到達の道筋を明記C ABI を Box 化)。
【ハンドオフ20250906 3rd— String.length: constfold→Return 材化の不一致 調査ログとTODO】
概要(現象)
- 目標: JIT/JITAOT で `StringBox.length/len` が 3 を返すべき箇所で 0 になるケースを解消。
- 現状: Lower 中の早期 constfold で `length = 3` を確実に計算([LOWER] early constfold ... = 3 が出力。Return 時点でも `ValueId(3)``known_i64=3` と認識される([LOWER] Return known_i64?=true。にもかかわらず最終結果実行結果は 0。
重要な観測(再現とログ)
- MIR ダンププリンタ仕様上、BoxCall は `call %box.method()` として表示)
0: `%1 = const "abc"`
1: `%2 = new StringBox(%1)`
2: `call %2.birth(%1)` // birth は通常 calldst なし)
3: `%3 = call %2.length()` // これも通常 call 表記(内部は BoxCall
4: `ret %3`
- Lower ログ:
- `[LOWER] early const-fold StringBox.length = 3` が出るconstfold 成功)
- `[LOWER] Return value=ValueId(3) known_i64?=true param?=false local?=true`
- それでも実行結果は `Result: 0`
- `nyash.jit.dbg_i64`[JITDBG]の出力が実行時に出ていないimport は宣言されるが call が観測されず)。
今回入れた変更(実装済・該当ファイル)
- Return/材化の強化known を最優先)
- `src/jit/lower/core_ops.rs`: `push_value_if_known_or_param` を「known_i64 最優先」に変更。
- `src/jit/lower/core.rs``I::Return` でも `known_i64` を最優先で積むように変更。
- Call/ArrayGet の戻り値の保存
- `src/jit/lower/core.rs`: `I::Call` 戻り値を dst が無い場合もスクラッチローカルへ保存(栈不整合の防止)。`I::ArrayGet` 戻り値も dst スロットへ保存。
- String.length/len の早期 constfold を二段に強化
- `src/jit/lower/core.rs`: BoxCall 入り口で `StringBox.literal` の length/len を即値化(最優先)。
- `src/jit/lower/core/ops_ext.rs`: 同様の constfold を堅牢化NewBox(StringBox, Const) から復元)。
- `src/jit/lower/core.rs`: lowering 前に `known_str` を事前シード、`string_box_literal` マップNewBox → リテラル文字列を構築し、Copy 伝播も対応。
- トレース導線
- `src/jit/lower/core/string_len.rs`: 二段フォールバックparam/local/literalにデバッグフックタグ 110x/120x/130x 系)追加。
- `src/jit/lower/builder/cranelift.rs`: ローカル slot の store/load トレース(`NYASH_JIT_TRACE_LOCAL=1`)。
- `crates/nyrt/src/lib.rs`: AOT 側の `nyash.string.len_h` / `nyash.any.length_h``[AOT-LEN_H]` を追加。
- `src/jit/lower/extern_thunks.rs`: `nyash_string_from_u64x2``[JIT-STR_H]` を追加JIT のハンドル生成観測)。`nyash_handle_of``[JIT-HANDLE_OF]` を追加。
仮説(根本原因)
- constfold で 3 を積めているにも関わらず、Return 時の実返却が 0。優先順位の修正により `known_i64` から 3 を積むよう修正済みだが、compiled JIT 関数内での Return 材化導線ret_block への引数配線/最後の returnが値 0 に擦り替わる経路が残っている可能性。
- ret_block/ジャンプ引数の材化不整合
- 後続命令でスタックが上書きされる経路
- birth の dst なし call で残留値が生じていた可能性Call 戻り値スクラッチ保存で対策済)
次アクションTODO
1) Return の後方走査材化優先・CURRENT_TASK 既存 TODO の実装)
- BoxCall/Call/Select/Const/Copy/Load に遡って、Return が値を確実に拾う材化パスを補強する。
- 既に known_i64 最優先化は実施済み。残りは ret_block 引数配線の最終確認CraneliftBuilder の ret 経路)。
2) 実行時の値トレース強化(短期)
- `emit_return`CraneliftBuilderで、ret_block へ jump 直前の引数 `v``nyash.jit.dbg_i64(299,v)` で確実に呼ぶenv でON
- ret_block 入口パラメータの `return_` 直前でも `dbg_i64(300,param0)` 呼び出しを足し、どこで 0 になるかを確定する。
3) BoxCall(length/len) の早期 fold 命中率最終確認
- `NYASH_JIT_TRACE_LOWER=1``[LOWER] early const-fold ... = 3` が必ず出ることを確認。
- 既に出ているが、Return までの導線で 3 が 0 に化ける起点を 2) で特定する。
4) AOT/JITAOT 観測の整備(参考)
- `[AOT-LEN_H]` で AOT 側 len_h/any.length_h の handle 解決有無をログ化。JITAOT smoke での差異を収集。
再現/確認コマンド(更新)
- 早期 fold と Return 導線ログ:
- `NYASH_JIT_TRACE_LOWER=1 NYASH_JIT_TRACE_RET=1 NYASH_AOT_OBJECT_OUT=target/aot_objects/test_len_any.o ./target/release/nyash --jit-direct apps/smokes/jit_aot_any_len_string.nyash`
- ローカル slot 観測:
- `NYASH_JIT_TRACE_LOCAL=1 NYASH_AOT_OBJECT_OUT=... --jit-direct ...`
- AOT 側の handle 解決ログ:
- `NYASH_JIT_TRACE_LEN=1 bash tools/aot_smoke_cranelift.sh apps/smokes/jit_aot_string_min.nyash app_str`
補足メモ
- MirPrinter は BoxCall を `call %box.method()` と出力する仕様(今回は BoxCall 経路で constfold が呼ばれていることは [LOWER] ログで確認済み)。
- `call %2.birth(%1)` の戻り値残留に備え、I::Call の dst なし呼び出しでもスクラッチ保存して栈を消費するよう修正済み(回帰に注意)。
担当者への引き継ぎポイント
- まず 2) の dbg を CraneliftBuilder の ret 経路jump to ret_block と return_に追加し、`v`/`param0` が 0 になる箇所を特定してください。
- 次に 1) の Return 後方走査材化を入れて、BoxCall/Select/Copy 等いずれの経路でも Return が安定して値を拾えるようにしてください。
- その後、smoke `apps/smokes/jit_aot_any_len_string.nyash``Result: 3` で通ることを確認し、constfold のログと一致することをもってクローズ。
【将来計画(バグ修正後)— JIT を exec 専用にし、VM 連携を段階的に廃止】
目的
- JIT は「コンパイル実行exec」に一本化し、VM 依存のレガシー経路param-index/TLS参照を撤去する。
- 値の材化・ハンドル管理・hostcall を JIT 側で一貫させ、境界の不整合を根本から減らす。
ロードマップ(段階移行)
1) 実行モードの明確化(設定)
- 環境変数 `NYASH_JIT_MODE=exec|compile|off` を導入。
- 既存の `NYASH_JIT_STRICT` は非推奨化し、`MODE=compile` に集約。
2) JIT ABI の一本化
- `src/jit/lower/extern_thunks.rs` などから `with_legacy_vm_args` を撤去。
- `nyash_handle_of` を含む extern は「JIT引数/ハンドルのみ」を受け付ける設計に変更。
- ランタイム境界で `VMValue -> JitValue(Handle)` へのアダプタを用意。
3) レガシー撤去JIT/AOT側
- `crates/nyrt/src/lib.rs``nyash.string.len_h`/`nyash.any.length_h` から param-index フォールバックを削除。
- lowering の `-1` センチネルや VM 依存の fallback を廃止し、`handle.of` または既存ローカルハンドルに統一。
4) フォールバック方針(移行期間)
- 関数単位で `unsupported>0` の場合のみ VM にフォールバック。
- オプション `NYASH_JIT_TRAP_ON_FALLBACK=1` を追加し、移行時の漏れを検出可能に。
5) Return 導線の強化(本タスクの延長)
- Cranelift 生成の ret 経路に dbg を常設envでON
- Return の後方走査材化を標準化し、const-fold/BoxCall/Select いずれでも Return が値を確実に拾うように。
6) ドキュメント/テスト更新
- README/CURRENT_TASK にモード説明と運用方針を追記。
- CI の smoke は `MODE=exec` を常態化し、compile-only はAOT出力/ベンチのみで使用。
影響範囲(主な修正ポイント)
- `src/jit/manager.rs`(モード/実行ポリシー)
- `src/jit/lower/extern_thunks.rs`レガシーVM依存排除、JIT ABI専用化
- `src/jit/lower/core.rs` / `src/jit/lower/core_ops.rs`-1センチネル削除・ハンドル材化徹底
- `crates/nyrt/src/lib.rs`dotted名hostcallのレガシー経路削除
- ドキュメントREADME/CURRENT_TASK
ロールアウト/リスク
- フラグ駆動で段階的に切替(デフォルト `exec`)。
- リスク: plugin経路/hostcall registry/ハンドルリーク。
- 緩和: `handles::begin_scope/end_scope_clear` によりハンドル回収を徹底、registryの検証を追加。
【本日更新】
- VM if/return 無限実行バグを修正(基本ブロック突入時に `should_return`/`next_block` をリセット。include 経路のハングも解消。
- ArrayBox プラグイン生成失敗に対し、v2 ローダへパス解決フォールバック(`plugin_paths.search_paths`)を追加し安定化。
- std/string の P0 関数を Ny 実装で追加length/concat/slice/index_of/equals。index_of は substring ループで代替。
- 残課題: string_smoke で `fails` 累積の else 側に φ が入らず未定義値参照MIR Builder 側の SSA/φ 振る舞い)。別タスク化。
【ハンドオフ20250906— AOT/JITAOT 足場と箱下寄せリファクタ】
- 変更サマリ
- nyrt: AOT 連携の dotted 名を追加Map/String/Any/birth
- `nyash.map.{size_h,get_h,get_hh,set_h,has_h}`
- `nyash.string.{len_h,charCodeAt_h,concat_hh,eq_hh,lt_hh}` / `nyash.any.{length_h,is_empty_h}`
- NewBox/文字列: `nyash.instance.birth_name_u64x2`, `nyash.string.from_u64x2`
- JITAOT(ObjectBuilder):
- 文字列リテラル→ハンドル生成u64x2 パック → `nyash.string.from_u64x2`
- 出力関数を `ny_main` としてエクスポート
- 最小 Store/Loadi64を StackSlot で実装
- Lower箱を下に寄せる最小整理:
- Map: param 不在でもローカルハンドルがあれば `_H` シンボルで直呼び
- Any.length: StringBox は `nyash.string.len_h` を優先。ローカル/再構築/旧 index の順にフォールバック
- Copy/Load でローカルハンドルを dst 側 slot に伝播
- Array.length は ArrayBox 受けに限定ops_ext ガード)
- 追加スモークJITAOT
- `apps/smokes/jit_aot_string_min.nyash`concat+eq→ PASS
- `apps/smokes/jit_aot_any_isempty_string.nyash` → PASS
- `apps/smokes/jit_aot_any_len_string.nyash` → 現状 Result: 0後述の未解決
- `apps/smokes/jit_aot_map_min.nyash` → 環境により MapBox 生成が必要
- 実行例
- 文字列ミニAOT:
- `NYASH_AOT_OBJECT_OUT=target/aot_objects/test_str.o ./target/release/nyash --jit-direct apps/smokes/jit_aot_string_min.nyash`
- `cc target/aot_objects/test_str.o -L target/release -Wl,--whole-archive -lnyrt -Wl,--no-whole-archive -lpthread -ldl -lm -o app_str && ./app_str``Result: 1`
- isEmptyAOT:
- 同様に `app_empty``Result: 1`
- Map 最小AOT:
- `.o` 生成/リンクは通る。`new MapBox()` はプラグイン/設定に依存(`nyash.toml``.so` の配置を確認)
- 未解決 / 既知の課題(優先度高)
1) String.length の AOT 実行が 0 になるケース
- 症状: `s = new StringBox("abc"); return s.length()``Result: 0`
- 現状の対処: Any.length を String.len_h 優先にし、ローカル/再構築/旧 index の順でフォールバック。Const fold も追加済み。
- 追加方針: 受け型伝播Copy/Load→dst へ型共有)をより堅牢化。最終手段として、ローカルハンドル時に `string.len_h``any.length_h` の二段呼び分け0 返りのときだけ後者)で保険を張る。
2) MapBox 生成AOT 実行バイナリ)
- 環境によりプラグイン解決が必要。`nyash.toml` のあるディレクトリで実行し、必要なら各プラグインを `target/release` に配置。
- 次アクション(引き継ぎ TODO
- [ ] Any.length の 0 問題を完全解消
- [ ] 受けの型/ハンドル伝播Copy/Load/Storeを統一ヘルパ化し、length/len/charCodeAt で確実にハンドルを積む
- [ ] StringBox(Const) は定数畳み込みを最優先len を即値化)
- [ ] 保険: `string.len_h`→0→`any.length_h` の順にフォールバック(ローカルハンドル時)
- [ ] メソッド→シンボル/引数規約の集中表を作成Array/Map/String/Any
- [ ] ops_ext/core の分岐重複を縮減(箱の責務を「下」に寄せる)
- [ ] AOT スモーク拡充
- [ ] String/Array の length/len を追加、select/分岐のミニ例も用意
- [ ] Map.get/has/setプラグインあり環境用
- 影響ファイル(主要)
- 追加/更新: `crates/nyrt/src/lib.rs`dotted エクスポート多数)、
`src/jit/lower/builder/{object.rs,cranelift.rs}`
`src/jit/lower/{core.rs,core/ops_ext.rs,core_hostcall.rs}`
スモーク: `apps/smokes/jit_aot_*.nyash`
■ ハンドオフJIT AOT / LLVM の現状と次アクション)
- 現状サマリ
- Array fastpath: VM 側 len/length を最前段に早期化Void→0 も確認)。
- Null 互換: NullBox→VMValue::Void へ統一(比較の整合確保)。
- std/array smoke: `NYASH_DISABLE_PLUGINS=1` で PASSlen/push/pop/slice
- LLVM AOT: 復活nyrt の read lock 寿命修正、build_llvm.sh のリンクパス `-L target/release` 追加)。
- JIT AOT(ObjectBuilder): P0 安定化P1 実装済const/return、i64 binop、compare、select、branch/jump、hostcall 基本、PHI最小化ブロック引数
- jit-direct で .o 生成確認: `apps/smokes/jit_aot_arith_branch.nyash` → Result 13、.o 出力 OK。
- build_aot.sh は既定で STRICT=0、出力 `target/aot_objects/main.o` に固定。
- nyrt: AOT 連携用 dotted 名 alias を Array に追加(`nyash.array.{len_h,get_h,set_h,push_h}`)。
- 優先TODO次にやること
1) JIT AOT P2: hostcall 拡張(規約ベースの最小集合)
- Map: `nyash.map.{size_h,get_h,has_h,set_h}` の dotted 名を nyrt に追加(既存実装へ forward
- String: 代表メソッドlen/concat/substring/indexOf 等)で必要なシンボルを dotted 名として追加
- ObjectBuilder から `emit_host_call_typed` で呼び出しLower の対応表に従う)
2) LowerCore: slot/name→hostcall マッピングbyslot を優先、byname は互換フォールバック)
- Array/Map/String の最小セットlen/get/set/push、size/get/has/set、len/concat など)
3) 後続(必要時): JIT AOT スモークを追加分岐あり最小、Array/Map の各1本
- 実行コマンド(確認用)
- JIT AOTjit-direct + .o:
- `NYASH_DISABLE_PLUGINS=1 NYASH_JIT_EVENTS=1 NYASH_AOT_OBJECT_OUT=target/aot_objects/jit_aot_arith.o ./target/release/nyash --jit-direct apps/smokes/jit_aot_arith_branch.nyash`
- LLVM AOTemit+link:
- `LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix) tools/build_llvm.sh apps/tests/ny-llvm-smoke/main.nyash -o app`
■ 現在のフォーカスJITオンリー一旦の着地
1) Core 緑維持(完了)
- `tools/jit_smoke.sh` / Roundtrip(A/B) / Bootstrap(c0→c1→c1') / Using E2E = PASS
【P1 進捗 — LLVM Core-13: ビット演算/シフト】
実装
- LLVM 降ろしで `BinaryOp::{BitAnd,BitOr,BitXor,Shl,Shr}` を i64 経路に実装済み(既存)。
- `compile_and_execute` の MIR インタプリタにも同演算を実装し、パリティを確保。
検証
- 単体テスト追加: `src/tests/llvm_bitops_test.rs`
- MIR を直接構築して `1=(5&3),7=(5|2),4=(5^1),32=(1<<5),4=(32>>3)` の合計 48 を検証。
- VM 実行で 48、LLVM `compile_to_object` がエラーなく emit、`compile_and_execute` でも 48 を確認(フォールバック実行)。
- AOT スモーク(任意): `tools/llvm_smoke.sh``NYASH_LLVM_BITOPS_SMOKE=1` で有効化する項目を追加(入力は Nyash ソース制約のため現状 skip 既定)。
注意
- Nyash ソースパーサが `&|^<<>>` を未サポートのため、ビット演算の E2E は当面 MIR 直構築テストで担保。
将来 `grammar/` の演算子追加後に `apps/tests/ny-llvm-bitops/` を有効化予定。
2) CI 分離(完了)
- Core常時: `tools/jit_smoke.sh` + Roundtrip
- Plugins任意: `NYASH_SKIP_TOML_ENV=1 ./tools/smoke_plugins.sh`strict既定OFF、`NYASH_PLUGINS_STRICT=1`でON
3) Selfhost E2E完了
- ny_plugins 有効 + `NYASH_USE_NY_COMPILER=1` の自己ホストE2Eをオプションゲートで運用
4) クリーンアップ(完了)
- 未使用import/変数の整理、runner責務分割、tools出力体裁の統一
■ ブランチ/構成Phase 15
- 実装ブランチ: `phase-15/self-host-ny-mir`
- 既存 Workspace は維持(`crates/*`)。
- 方針: crates 側は変更せず「Nyash スクリプト + nyash.exe」だけで実装・運用Windows優先
- 例: `C:\git\nyash-project\nyash_self\nyash` 直下で `target\release\nyash` 実行。
- Nyash 製パーサは `apps/selfhost/ny-parser-nyash/`Nyashコードとして配置最初は最小サブセット
- MIR 解釈層は既存 `backend/mir_interpreter.rs``runner/modes/mir_interpreter.rs` を拡充。
- AOT 関連の雛形は `src/backend/cranelift/` に維持feature gate: `cranelift-aot`)。
■ 再開TODO優先順
1) std Ny実装の実体化P0/P1
- string: length/concat/slice/indexOf/equals → P0 完了string_smoke PASS
- array: len/push/pop/slice を内蔵経路で先行(次着手)
- map: get/set/len/keys (+values/entries/forEach)
- jit_smoke に機能検証を常時化Coreは `NYASH_DISABLE_PLUGINS=1`
2) NyコンパイラMVPのsubset拡張
- let/call/return に続き if/ブロック/関数引数まで拡張し、`NYASH_USE_NY_COMPILER=1` スモークを充実
3) Selfhost E2E ゲートの昇格
- 連続N回グリーン後にCI optional→requiredへ昇格trace/hash基準
4) Plugins厳格ONの段階移行
- Core13準拠サンプルへ置換し、`NYASH_PLUGINS_STRICT=1` ゲートで順次ONに復帰
【優先追加 — JIT AOTObjectBuilder安定化・拡張】
- P0: 安定化(完了)
- switch_to_block なしでの命令発行panic対策emit_const系
- 終端命令なしVerifierエラー対策emit_return 実装)
- build_aot.sh の STRICT 緩和デフォルト0 obj 直指定
- P1: 最小命令カバレッジ(今すぐ実装)
- i64 binop: add/sub/mul/div/mod を実コード生成
- compare: eq/ne/lt/le/gt/ge → b1→i64(0/1) へ正規化してpush
- 分岐/ジャンプ: br_if_top_is_true/jump_to 実装ブロック遷移とCFG整合
- select: emit_select_i64 実装cond, then, else の順)
- P2: hostcall 系の型付き発行(必要最小限)
- array/map/string/integer の代表 extern を ObjectBuilder に実装
- ny-llvm-smoke 等に相当する JIT AOT smoke 追加
- P3: CI スモーク
- `tools/jit_smoke.sh` に AOT(JIT)最小タスクを追加STRICT=0 で .o 生成確認)
## ブロッカー/暫定対応20250905 更新)
- 影響範囲Backend差
- JIT(cranelift) → 影響なし。
- VM(backends=vm) → if/return 無限ループは修正済み(基本ブロック突入時に CF リセット)。
- 結論: include ハングの根因は VM の制御フロー残存フラグ。修正により解消。
- 事象A: include ハング → 解消
- `apps/tmp_len_min.nyash`/`apps/tmp_len_test.nyash` 正常完走を確認。
- 事象B: ArrayBox プラグイン生成エラー → 解消
- v2 ローダにフォールバック探索(`plugin_paths.search_paths`を追加し、workspace の `./target/release/*.so` を自動解決。
- DEBUG 時に birth 戻り `code/out_len` をロギング。
- 事象C: std/string_smoke の最終段で未定義値参照 → 解消
- MIR Builder の if 降ろしで φ を必ず生成then のみ代入・else 未代入時は pre 値と then 値で合流)。
- string_smoke PASS を確認。
## 次アクション(デバッグ計画)
- A1: includeハング最小化再現を固定VM経路優先で調査
- `apps/tmp_len_test.nyash` 固定、`NYASH_DEBUG=1``execute_include_expr``ensure_static_box_initialized` までの経路にログを追加。
- `included_files``include_stack` の push/pop と RwLock/RwLock の取り回しを確認。ポップ忘れ/二重ロックがないか検査。
- `apps/std/string.nyash` 内のメソッドを段階的に無効化して最小原因を特定(現状 length のみでも再現)。
- A2: VM if/return 無限実行VM限定を優先修正
- 症状: JITは1回then→Return→終了。VMはthenのprintが際限なく繰り返される。
- 再現最小: `apps/tmp_if_min.nyash`
```nyash
static box Main {
main() {
local x
x = 3
if x == 3 {
print("ok3")
return 0
}
print("bad")
return 1
}
}
```
- JIT: `./target/release/nyash apps/tmp_if_min.nyash` → 1回だけ ok3, Result:0
- VM: `timeout 4s ./target/release/nyash --backend vm apps/tmp_if_min.nyash` → ok3 が無限に出続け TIMEOUT
- MIRダンプ`NYASH_VM_DUMP_MIR=1`)では if 降下は正しく、then/else 各ブロックは `ret` を含む。
- 例: bb1 に `extern_call log("ok3")` の後 `ret 0`。bb2 に `ret 1`
- 観測ログ(`NYASH_VM_DEBUG_EXEC=1`)では Print/Const が繰り返し実行。Return の終端処理が機能していない疑い。
- 仮説: VM 実行ループの制御フロー(`execute_function`)で `ControlFlow::Return` を受け取った後の関数脱出が何らかの理由で無効化/上書き/再入している。
- 着手案:
- `execute_function` に短期ログ: 現在ブロックID/terminator種別/`should_return` セット→関数戻りの分岐をeprintlnNYASH_VM_DEBUG_EXEC=1時
- `execute_instruction``Return` ディスパッチ時に明示ログval_id/値を出す現状VTトレースも可
- `previous_block`/`loop_executor`/`record_transition` で自己遷移が起きていないか確認。
- `BasicBlock::add_instruction` にて terminator設定/Successorsの更新は正常コード・MIR上はOK。処理後の `next_block` 決定ロジックを再点検。
## ハンドオフ(変更点・補助情報)
- 追加ファイルstd MVP + smokes
- `apps/std/string.nyash`, `apps/std/array.nyash`
- `apps/smokes/std/string_smoke.nyash`, `apps/smokes/std/array_smoke.nyash`
- スクリプト/設定の更新
- `tools/jit_smoke.sh`: Std smokes に `timeout 15s`、ArrayBox未提供時は `SKIP` を出力
- `tools/smoke_plugins.sh`: `NYASH_PLUGINS_STRICT=1` のON/OFF表示
- `nyash.toml`: `ny_plugins` に std 2件を追加
- `src/runner/modes/vm.rs`: `NYASH_VM_DUMP_MIR=1` でVM実行前にMIRをダンプ
- `src/mir/builder/stmts.rs`: 末尾 `return/throw` 後に同ブロックへ更に命令を積まないための早期breakを追加安全強化
- 再現とログ
- VM再現: `timeout 4s ./target/release/nyash --backend vm apps/tmp_if_min.nyash`
- JIT対照: `./target/release/nyash apps/tmp_if_min.nyash`
- MIRダンプ: `NYASH_VM_DUMP_MIR=1 --backend vm ...`
- 命令トレース: `NYASH_VM_DEBUG_EXEC=1 --backend vm ...`
- プラグイン/ArrayBox注意
- 既定でプラグイン経由に迂回するため、未ビルドだと ArrayBox 生成に失敗。
- 回避: `NYASH_USE_PLUGIN_BUILTINS=0` または `NYASH_PLUGIN_OVERRIDE_TYPES` から `ArrayBox,MapBox`を除外。もしくはプラグインをビルド。
## すぐ着手できるTODOVM側
- [ ] `execute_function` にブロック遷移/Return検出ログNYASH_VM_DEBUG_EXEC=1時のみ
- [ ] Return発生時に確実に `Ok(return_value)` で関数を抜けることを確認(`should_return`/`next_block` の上書き防止)
- [ ] `record_transition`/`loop_executor` の副作用で自己遷移が起きていないか確認
- [ ] 修正後、`apps/tmp_if_min.nyash` が VM/JIT 両方で一発終了することを確認MIRダンプ上は既に正しい
- B1: ArrayBox 経路の選択を明示
- 手元では `NYASH_USE_PLUGIN_BUILTINS=0` で内蔵にフォールバックするか、プラグインを `cargo build -p nyash-array-plugin --release` で用意。
- CIは当面 `SKIP` 維持。
## 実行メモ(暫定)
- Std smokes手元で回す
- `NYASH_LOAD_NY_PLUGINS=1 NYASH_USE_PLUGIN_BUILTINS=0 ./tools/jit_smoke.sh`
- またはプラグインをビルドしてから `NYASH_LOAD_NY_PLUGINS=1 ./tools/jit_smoke.sh`
■ 予定R5 拡張: Ny Plugins → Namespace
- Phase A最小: 共有レジストリ `NyModules` を追加し、`env.modules.set/get` で exports を登録/取得。
- `[ny_plugins]` は戻り値Map/StaticBoxを「ファイルパス→名前空間」に変換して登録。
- 名前空間導出: ルート相対・区切りは `.`、拡張子除去・無効文字は `_`。予約 `nyashstd.*` 等は拒否。
- Phase B範囲: 共有Interpreterオプション`NYASH_NY_PLUGINS_SHARED=1`)で静的定義を共有。ログに REGISTERED を出力。
- Phase C言語結線: `using <ns>``NyModules` 参照→未解決時にファイル/パッケージ解決nyash.linkへフォールバック。
■ 直近で完了したこと主要抜粋JIT
- R1: JSON v0 ブリッジ(`--ny-parser-pipe`/`--json-file`)、変換器 `src/runner/json_v0_bridge.rs`、スモーク追加
- R2: ラウンドトリップ E2E`tools/ny_roundtrip_smoke.{sh,ps1}`
- R3: 直結ブリッジ v0`--parser ny`/`NYASH_USE_NY_PARSER=1``NYASH_DUMP_JSON_IR=1`)→ `return (1+2)*3` で 9
- R5: Ny スクリプトプラグイン([ny_plugins]列挙実行OK/FAIL 出力・列挙のみガード付き)
- NyModules登録/名前空間導出/Windows正規化の仕様確定・回帰スモーク
- using/namespaceゲート・nyash.link最小・resolverキャッシュ・実行時フック提案付き診断
- AOT P2(step1): RUN スモーク配線(最小オブジェクト生成+実行ログ)
- ■ 直近で完了したこと(主要抜粋)
- T0: MIRインタープリタ強化分岐/比較/PHI/extern/Box最小 Runner 観測ログ
- T1: Nyash製ミニパーサ整数/四則/括弧/return→ JSON IR v0 出力
- T2: JSON IR v0 → MIRModule 受け口(`--ny-parser-pipe`
- T3: CLI 切替/ヘルプ(`--ny-parser-pipe`/`--json-file`、mirヘルプ追補
- T4: Docs/Samples/Runner scriptsapps/ny-mir-samples, tools/*, README 追補)
- Phase 15 起点準備
- CLIに `--backend cranelift-aot``--poc-const` を追加(プレースホルダ動作)。
- `src/backend/cranelift/{mod.rs,aot_box.rs,linker_box.rs}` の雛形追加feature gate
- MIR解釈層スケルトン`semantics/eval.rs``backend/mir_interpreter.rs`)の確認
■ 再開用クイックメモJITのみ
- ビルド
- VM/JIT: `cargo build --release --features cranelift-jit`
- LLVM必要時: `LLVM_SYS_180_PREFIX=$(llvm-config-18 --prefix) cargo build --release --features llvm`
- AOT導入後: `cargo build --release --features cranelift-aot`
- スモークJIT/VM
- Core: `NYASH_DISABLE_PLUGINS=1 NYASH_CLI_VERBOSE=1 ./tools/smoke_vm_jit.sh`
- Parser Bridge: `./tools/ny_parser_bridge_smoke.sh`
- Roundtrip: `./tools/ny_roundtrip_smoke.sh`A/B
- Plugins: `NYASH_SKIP_TOML_ENV=1 ./tools/smoke_plugins.sh`(厳格は `NYASH_PLUGINS_STRICT=1` 時のみON
- Bootstrap: `./tools/bootstrap_selfhost_smoke.sh`
- Using/Resolver: `./tools/using_e2e_smoke.sh`
■ 状態
- JIT自己ホストMVP: 到達E2E/ブートストラップ/ドキュメント/CI分離まで完了
- リファクタ: Step1/2/3 完了未使用掃除・runner分割・tools体裁統一
- 次回は「std実装の実体化」と「Nyコンパイラsubset拡張」から再開
- 参照
- Phase 15 概要/ロードマップ: `docs/development/roadmap/phases/phase-15/README.md`, `docs/development/roadmap/phases/phase-15/ROADMAP.md`
- ハンドオフ: `docs/handoff/phase-15-handoff.md`
- 設計/API: `docs/backend-cranelift-aot-design.md`, `docs/interfaces/*`
■ 合否基準P0: Ny→MIR→MIR-Interp→VM 最小成立)
- 自作Nyashパーサ最小サブセットが Nyash で動作し、テスト入力から中間形式(JSON暫定)を生成できる。
- Runner が中間形式を MIRModule に変換し、MIR 解釈層で実行して既知の結果(例: `Result: 42`)を出力する。
- 代表ケース(整数四則演算/括弧/returnで往復が安定。
■ JSON IR v0暫定スキーマ
- version: 整数(例: 0
- kind: 固定 "Program"
- body: 配列Stmt[]
- Stmt最小
- { "type": "Return", "expr": Expr }
- Expr最小
- { "type": "Int", "value": 123 }
- { "type": "Binary", "op": "+"|"-"|"*"|"/", "lhs": Expr, "rhs": Expr }
- error失敗時
- { "version":0, "kind":"Error", "error": { "message": "...", "span": {"start":N, "end":M} } }
-
- `return 1+2*3` → {"version":0,"kind":"Program","body":[{"type":"Return","expr":{"type":"Binary","op":"+","lhs":{"type":"Int","value":1},"rhs":{"type":"Binary","op":"*","lhs":{"type":"Int","value":2},"rhs":{"type":"Int","value":3}}}}]}
- `return (1+2)*3``Binary('*', Binary('+',1,2), 3)` の形で生成
■ 補足(優先/範囲)
- 先行するのは Ny→MIR→MIR-Interp→VM の自己ホスト経路AOTはP2以降
- OS 優先: Windows →(後続で Linux/macOS
- メモリ/GC: P0は整数演算/定数返し中心でNyRT拡張不要。
- Codex 非同期運用: `tools/codex-async-notify.sh``tools/codex-keep-two.sh` 継続利用。
## 実行コマンド(サマリ)
- VM/JIT 実行例
- `printf "Hello\n" | NYASH_CLI_VERBOSE=0 ./target/release/nyash apps/ny-echo/main.nyash`
- `printf "Hello\n" | NYASH_CLI_VERBOSE=0 ./target/release/nyash --backend vm apps/ny-echo/main.nyash`
- AOT/LLVM 系は後段当面OFF
- JSON v0 ブリッジR1 Quick Start
- パイプ実行Unix/WSL: `printf '{"version":0,"kind":"Program","body":[{"type":"Return","expr":{"type":"Binary","op":"+","lhs":{"type":"Int","value":1},"rhs":{"type":"Binary","op":"*","lhs":{"type":"Int","value":2},"rhs":{"type":"Int","value":3}}}}]}' | ./target/release/nyash --ny-parser-pipe`
- ファイル指定Unix/WSL: `./target/release/nyash --json-file sample.json`
- スモークUnix/Windows: `./tools/ny_parser_bridge_smoke.sh` / `pwsh -File tools/ny_parser_bridge_smoke.ps1`
- E2E ラウンドトリップR2
- Unix/WSL: `./tools/ny_roundtrip_smoke.sh`
- Windows: `pwsh -File tools/ny_roundtrip_smoke.ps1`
- tmux通知で並列実行:
- `CODEX_ASYNC_DETACH=1 ./tools/codex-async-notify.sh "./tools/ny_roundtrip_smoke.sh" codex`
- `CODEX_ASYNC_DETACH=1 ./tools/codex-async-notify.sh "pwsh -File tools/ny_roundtrip_smoke.ps1" codex`
- Ny プラグイン列挙R5
- 有効化: `--load-ny-plugins` または `NYASH_LOAD_NY_PLUGINS=1`
- `nyash.toml` 例:
```toml
ny_plugins = [
"apps/std/ny-config.nyash",
"apps/plugins/my-helper.nyash"
]
```
- 実行: 列挙に加え、Interpreterで順次実行ベストエフォート
- ガード: `NYASH_NY_PLUGINS_LIST_ONLY=1` で列挙のみ(実行しない)
- 注意: プラグインスクリプトは副作用の少ない初期化/登録処理に限定推奨。
- Std Ny スモーク実行(任意): `NYASH_LOAD_NY_PLUGINS=1 ./tools/jit_smoke.sh`
## トレース/環境変数(抜粋)
- AOT/Link: `NYASH_LINKER`, `NYASH_LINK_FLAGS`, `NYASH_LINK_VERBOSE`
- ABI: `NYASH_ABI_VTABLE=1`, `NYASH_ABI_STRICT=1`
- VM/JIT: `NYASH_VM_PIC_STATS`, `NYASH_JIT_DUMP` など従来通り
---
詳細な履歴や議事録は docs 配下の Phase 15 セクションを参照してください。
- ny-configR4
- `./target/release/nyash apps/std/ny-config.nyash`
- 現状: Interpreter 経路のプラグイン初期化順序により FileBox/TOMLBox を使うには Runner 側の微調整が必要VM 経路への移行 or プラグイン登録の早期化)。スクリプト本体は追加済み。
- 直結ブリッジ v0R3 Quick Start
- `printf 'return (1+2)*3\n' > t.ny && NYASH_USE_NY_PARSER=1 NYASH_DUMP_JSON_IR=1 ./target/release/nyash t.ny`
---
New Plan — SelfHost Dependency Tree (Nyonly) and Bridge20250907
目的
- Ny スクリプトのみで依存木include + using/moduleを再帰解析して JSON を出力。Rust ビルド無しで回せる内側ループを整備。
- 既存の MIR→VM→AOT 系とは疎結合を維持しつつ、最小の橋渡しJSONファイル経由を用意。
実装項目(最小)
- ツール: `apps/selfhost/tools/dep_tree_simple.nyash`
- 1ファイル・静的boxで実装。1行1文break無しelseは同一行。
- 解析: `include "..."``using ns``using ns as Alias``using "./path" as Name``// @module ns=path`
- 解決順: `module > 相対 > using-path`using-path 既定: `apps/selfhost:apps:lib:.`)。
- JSON: `{ version, root_path, tree{ path, includes[], uses[], modules[], children[] } }`uses は unresolved/hint/alias/resolved を含む)。
- タスク/Make:
- `nyash.toml [tasks].dep_tree` を追加し、1コマンドで JSON を `tmp/deps.json` に出力。
- `make dep-tree`: `cargo build --release && ./target/release/nyash --run-task dep_tree`
- 受け入れ基準:
- `make dep-tree``tmp/deps.json` を出力。曖昧複数ヒットは注記STRICT で停止。
- VM/Interpreter いずれでも実行可File/Path/Array/Map 最小APIで実装
橋渡しStage 1: 疎結合)
- `NYASH_DEPS_JSON=<path>` を Runner で読取りログ出力等の診断用途。MIR/JIT/AOT の挙動は不変。
- 後続Stage 2以降は JSON IR `extensions.deps` や lock ファイルの導入を検討(別期)。
進め方(短期)
1) `dep_tree_simple.nyash` の完走化VM実行での File/Path 最小APIのみ使用
2) `nyash.toml``dep_tree` 追加+ `make dep-tree` 整備。
3) Runner へ `NYASH_DEPS_JSON` の最小読込み(ログ出力)を追加(影響ゼロの範囲)。