f9d100ce01
Phase 25.1 完了成果: - ✅ LoopForm v2 テスト・ドキュメント・コメント完備 - 4ケース（A/B/C/D）完全テストカバレッジ - 最小再現ケース作成（SSAバグ調査用） - SSOT文書作成（loopform_ssot.md） - 全ソースに [LoopForm] コメントタグ追加 - ✅ Stage-1 CLI デバッグ環境構築 - stage1_cli.hako 実装 - stage1_bridge.rs ブリッジ実装 - デバッグツール作成（stage1_debug.sh/stage1_minimal.sh） - アーキテクチャ改善提案文書 - ✅ 環境変数削減計画策定 - 25変数の完全調査・分類 - 6段階削減ロードマップ（25→5、80%削減） - 即時削除可能変数特定（NYASH_CONFIG/NYASH_DEBUG） Phase 26-D からの累積変更: - PHI実装改善（ExitPhiBuilder/HeaderPhiBuilder等） - MIRビルダーリファクタリング - 型伝播・最適化パス改善 - その他約300ファイルの累積変更 🎯 技術的成果: - SSAバグ根本原因特定（条件分岐内loop変数変更） - Region+next_iパターン適用完了（UsingCollectorBox等） - LoopFormパターン文書化・テスト化完了 - セルフホスティング基盤強化 Co-Authored-By: Claude <noreply@anthropic.com> Co-Authored-By: ChatGPT <noreply@openai.com> Co-Authored-By: Task Assistant <task@anthropic.com>
24 lines
504 B
Rust
24 lines
504 B
Rust
/*!
|
|
* Nyash Tokenizer — split modules (kinds/cursor/whitespace/lexers/engine)
|
|
*/
|
|
|
|
mod cursor;
|
|
mod engine;
|
|
mod kinds;
|
|
mod lex_ident;
|
|
mod lex_number;
|
|
mod lex_string;
|
|
mod whitespace;
|
|
|
|
pub use kinds::{Token, TokenType, TokenizeError};
|
|
|
|
/// Nyashトークナイザー
|
|
pub struct NyashTokenizer {
|
|
pub(crate) input: Vec<char>,
|
|
pub(crate) position: usize,
|
|
pub(crate) line: usize,
|
|
pub(crate) column: usize,
|
|
}
|
|
|
|
// Public API and core logic are implemented in submodules via impl NyashTokenizer
|