grammar(P0): add peek expression, continue statement, and field type annotations acceptance; add sample apps and interpreter path\n\n- tokenizer: add keywords (peek, continue), tokens (=> as FatArrow, :: as DoubleColon), keep >> as Arrow\n- parser: implement peek as expression (literal patterns only, else required), add continue; accept field 'name: Type' (discard type P0)\n- interpreter: evaluate PeekExpr; add Continue control flow handling\n- apps: add peek-demo, loop-continue-demo, adjust field-decl demo; use ConsoleBox instead of env.console for interpreter backend\n- docs: CURRENT_TASK updated earlier for Phase 12.7 P0\n\nNOTE: peek arms currently single-expression (no block expr yet); VM/MIR path does not lower PeekExpr yet; use --backend interpreter for demos
This commit is contained in:
Moe Charm
@ -0,0 +1,267 @@
|
||||
================================================================================
|
||||
Nyash文法改革 - 技術仕様書（パーサー実装向け）
|
||||
2025-09-03
|
||||
================================================================================
|
||||
|
||||
1. トークン定義
|
||||
================================================================================
|
||||
|
||||
【予約語（Keywords）】15個
|
||||
- box, new, me, public, if, else, loop, break, continue
|
||||
- peek, return, import, from, birth, fn
|
||||
|
||||
【演算子・記号（Operators/Symbols）】
|
||||
- 算術: + - * / %
|
||||
- 比較: == != < > <= >=
|
||||
- 論理: and or not
|
||||
- 代入: =
|
||||
- アクセス: . (ドット) [ ] (インデックス)
|
||||
- 関数: ( ) { }
|
||||
- 区切り: , ;
|
||||
- 型注釈: :
|
||||
- peekアーム: =>
|
||||
- 親メソッド: ::
|
||||
- コメント: // /* */
|
||||
|
||||
【リテラル（Literals）】
|
||||
- 整数: /[0-9]+/
|
||||
- 浮動小数: /[0-9]+\.[0-9]+/
|
||||
- 文字列: /"([^"\\]|\\.)*"/
|
||||
- 真偽値: true false
|
||||
- null値: null
|
||||
|
||||
【識別子（Identifier）】
|
||||
- /[a-zA-Z_][a-zA-Z0-9_]*/
|
||||
- 予約語と衝突しない
|
||||
|
||||
【空白・改行】
|
||||
- 改行は文の区切り（セミコロン自動挿入規則適用）
|
||||
- インデント: 意味を持たない（Python風ではない）
|
||||
- 行継続: \ で明示的に次行へ続く
|
||||
|
||||
================================================================================
|
||||
2. 式構文（Expression Grammar）
|
||||
================================================================================
|
||||
|
||||
【優先順位（高→低）】
|
||||
1. リテラル、識別子、(式)
|
||||
2. 関数呼び出し: expr(args)
|
||||
3. メンバアクセス: expr.member
|
||||
4. インデックス: expr[index]
|
||||
5. 単項演算: not expr, -expr
|
||||
6. 乗除: * / %
|
||||
7. 加減: + -
|
||||
8. 比較: < > <= >= == !=
|
||||
9. 論理積: and
|
||||
10. 論理和: or
|
||||
11. peek式: peek expr { ... }
|
||||
|
||||
【結合規則】
|
||||
- 算術演算子: 左結合
|
||||
- 比較演算子: 非結合（a < b < c は不可）
|
||||
- 論理演算子: 左結合
|
||||
|
||||
【式の種類】
|
||||
```
|
||||
Expression ::=
|
||||
| Literal
|
||||
| Identifier
|
||||
| "me"
|
||||
| Expression "." Identifier // メンバアクセス
|
||||
| Expression "[" Expression "]" // インデックス
|
||||
| Expression "(" ExprList? ")" // 関数呼び出し
|
||||
| "new" Identifier "(" ExprList? ")" // インスタンス生成
|
||||
| "fn" "(" ParamList? ")" Block // 関数Box
|
||||
| PeekExpression
|
||||
| BinaryOp
|
||||
| UnaryOp
|
||||
| "(" Expression ")"
|
||||
```
|
||||
|
||||
【peek式】
|
||||
```
|
||||
PeekExpression ::=
|
||||
"peek" Expression "{"
|
||||
PeekArm*
|
||||
"else" "=>" (Expression | Block)
|
||||
"}"
|
||||
|
||||
PeekArm ::=
|
||||
Pattern "=>" (Expression | Block)
|
||||
|
||||
Pattern ::=
|
||||
| Literal // 現在はリテラルのみ
|
||||
| Pattern "|" Pattern // 将来: 複数パターン
|
||||
```
|
||||
|
||||
================================================================================
|
||||
3. 文構文（Statement Grammar）
|
||||
================================================================================
|
||||
|
||||
```
|
||||
Statement ::=
|
||||
| Expression // 式文
|
||||
| "local" IdentList ("=" ExprList)? // 変数宣言
|
||||
| Identifier "=" Expression // 代入
|
||||
| "if" Expression Block ("else" (Block | Statement))?
|
||||
| "loop" "(" Expression ")" Block
|
||||
| "break"
|
||||
| "continue"
|
||||
| "return" Expression?
|
||||
| BoxDeclaration
|
||||
| FunctionDeclaration
|
||||
| "import" StringLiteral ("as" Identifier)?
|
||||
|
||||
Block ::= "{" Statement* "}"
|
||||
|
||||
BoxDeclaration ::=
|
||||
"box" Identifier ("from" IdentList)? "{"
|
||||
FieldDeclaration*
|
||||
MethodDeclaration*
|
||||
"}"
|
||||
|
||||
FieldDeclaration ::=
|
||||
("public")? Identifier ":" Identifier ("=" Expression)?
|
||||
|
||||
MethodDeclaration ::=
|
||||
("public")? (Identifier | "birth") "(" ParamList? ")" Block
|
||||
```
|
||||
|
||||
================================================================================
|
||||
4. 名前解決規則
|
||||
================================================================================
|
||||
|
||||
【スコープ】
|
||||
1. グローバルスコープ（box、関数定義）
|
||||
2. Box内スコープ（フィールド、メソッド）
|
||||
3. 関数スコープ（引数、local変数）
|
||||
4. ブロックスコープ（{}内のlocal）
|
||||
|
||||
【シャドーイング】
|
||||
- 内側のスコープが外側を隠蔽
|
||||
- 同一スコープ内での再定義は不可
|
||||
|
||||
【meの解決】
|
||||
- Box内: 現在のBoxインスタンス
|
||||
- fn{}内: 関数Box自身
|
||||
- それ以外: エラー
|
||||
|
||||
【from Parent.method()の解決】
|
||||
- 現在のBoxがParentにデリゲートしているか確認
|
||||
- Parent::method()も同様
|
||||
|
||||
================================================================================
|
||||
5. 曖昧性と解決策
|
||||
================================================================================
|
||||
|
||||
【左再帰なし】
|
||||
- 全て右再帰または反復で記述
|
||||
|
||||
【最長一致】
|
||||
- トークナイザーレベルで最長一致
|
||||
- 例: ">=" は2文字演算子として認識
|
||||
|
||||
【バックトラック不要】
|
||||
- LL(1)またはLL(2)で解析可能
|
||||
- peekトークンで次の構文要素を判別
|
||||
|
||||
【曖昧箇所】
|
||||
1. 関数呼び出し vs 変数
|
||||
- 解決: "("の有無で判別
|
||||
|
||||
2. {} がブロックか関数Boxか
|
||||
- 解決: 直前のfnキーワードで判別
|
||||
|
||||
3. セミコロン自動挿入
|
||||
- 改行時に次が中置演算子でない場合挿入
|
||||
- 例外: 行末が不完全な式の場合は挿入しない
|
||||
|
||||
================================================================================
|
||||
6. エラー処理
|
||||
================================================================================
|
||||
|
||||
【期待トークンエラー】
|
||||
```
|
||||
Expected 'token' but found 'actual'
|
||||
at line X, column Y
|
||||
```
|
||||
|
||||
【回復戦略】
|
||||
1. 文レベル: 次の文開始トークンまでスキップ
|
||||
2. ブロックレベル: 対応する}までスキップ
|
||||
3. Box/関数レベル: 次のbox/fnまでスキップ
|
||||
|
||||
【行・列の追跡】
|
||||
- 各トークンに位置情報を付与
|
||||
- エラー時は該当箇所を表示
|
||||
|
||||
【エラーメッセージ例】
|
||||
```
|
||||
Error: Missing 'else' in peek expression
|
||||
--> program.nyash:10:5
|
||||
|
|
||||
10 | peek value {
|
||||
| ^^^^ peek expression requires 'else' branch
|
||||
```
|
||||
|
||||
================================================================================
|
||||
7. 将来拡張の余地
|
||||
================================================================================
|
||||
|
||||
【予約済み位置】
|
||||
- @ 記号: 将来の属性用
|
||||
- # 記号: 将来のマクロ用
|
||||
- ` 記号: 将来のテンプレート用
|
||||
|
||||
【拡張可能な構文】
|
||||
- Pattern: 現在はリテラルのみ、将来は構造体パターン等
|
||||
- 型注釈: 現在は : Type のみ、将来はジェネリクス等
|
||||
|
||||
【前方互換性】
|
||||
- 未知の @ で始まる行は読み飛ばし
|
||||
- box内の未知セクションは警告のみ
|
||||
|
||||
================================================================================
|
||||
8. 既存実装への差分最小化
|
||||
================================================================================
|
||||
|
||||
【tokenizer.rs への変更】
|
||||
1. 予約語リストにpeek, continue, birthを追加
|
||||
2. => を2文字演算子として追加
|
||||
3. :: を2文字演算子として追加
|
||||
|
||||
【parser.rs への変更】
|
||||
1. parse_when() → parse_peek() に改名
|
||||
2. parse_field_declaration() を追加（name: Type形式）
|
||||
3. parse_fn_literal() を追加（fn式のため）
|
||||
4. continue文の処理追加
|
||||
5. birthキーワードの特殊処理
|
||||
|
||||
【AST変更】
|
||||
```rust
|
||||
// 追加
|
||||
enum Expr {
|
||||
// ...
|
||||
Peek {
|
||||
scrutinee: Box<Expr>,
|
||||
arms: Vec<(Pattern, BlockOrExpr)>,
|
||||
else_arm: Box<BlockOrExpr>,
|
||||
},
|
||||
FnLiteral {
|
||||
params: Vec<String>,
|
||||
body: Block,
|
||||
},
|
||||
}
|
||||
|
||||
enum Stmt {
|
||||
// ...
|
||||
Continue,
|
||||
}
|
||||
```
|
||||
|
||||
【セマンティクス】
|
||||
- peekは式として値を返す
|
||||
- else必須のバリデーション追加
|
||||
- returnは最内関数スコープから脱出
|
||||
|
||||
================================================================================
|
||||
Reference in New Issue
Block a user