本資料は、下記の資料と共に使用されることを想定してます。本資料だけをお持ちの方は、下記資料を整えた上で読み進めて下さい。

1

本資料は、下記の資料と共に使用されることを想定してます。本資料だけをお持ちの方は、下記資料を整えた上で読み進めて下さい。

テキストについては市販されています。教員用ＣＤについては無料で提供してますので、詳しくは『コンパイラ入門』の付録Ｍ参考情報をご覧下さい。

ソフトウエア実践講座　コンパイラ入門ソフトバンククリエイティブ株式会社　ＩＳＢＮ４－７９７３－３１６９－０ソフトウエア実践講座　コンパイラ入門　教員用ＣＤ

教員用資料講義用スライド（本資料）サンプルソースプログラム

初期テンプレート ([email protected]) スキャナ構築後 ([email protected]) パーサ構築後 ([email protected]) シンボルテーブル構築後 ([email protected]) コード生成後 ([email protected])

2

ソフトウエア実践講座コンパイラ入門

～究極のソフトウエア開発～

3

目次準備作業

１章　　はじめに２章　　コンパイラ３章　　問題の把握４章　　開発環境の設定

スキャナの構築５章　　語彙定義６章　　スキャナの構築

パーサの構築７章　　文法定義８章　　パーサの構築９章　　パーサの構築（変数と関数）１０章　パーサの構築（式と代入文）１１章　パーサの構築（選択文と繰り返し文）１２章　シンボルテーブル

コードジェネレータの構築１３章　コードジェネレータ１４章　コードジェネレータ（変数と関

数）１５章　コードジェネレータ（式と代入

文）１６章　コードジェネレータ（選択文）１７章　コードジェネレータ（繰り返し

文）

参考資料パーサの構築テストプログラム言語仕様付録ＣＤ－ＲＯＭ

4

１章　はじめに　シラバス　自作コンパイラのイメージ

5

１章　はじめにシラバス案（１ / ６）コース名

対象者：～大学　～学部　～学科開講時期：～コース番号：～授業科目：～単位数：～開講日：～開講時間：～開講場所：～

担当教員氏名：～研究室：～研究室電話番号：～ FAX 番号：～メールアドレス：～オフィスアワー：～

担当助手／ティーチング・アシスタント氏名：～研究室オフィスアワー：～

6

１章　はじめにシラバス案（２ / ６）目的

コンパイラに必要な理論と実践を習得

ゴール自作コンパイラの完成必要な理論・知識を身につける

前提条件最低１つのプログラム言語でプログラムを作成できること

課題・レポート・プロジェクト自作コンパイラを作成するプロジェクトを完成する

１回目：スキャナー構築後のソース、入力プログラム、出力結果２回目：パーサ構築後のソース、入力プログラム、出力結果３回目：コードジェネレータ構築後のソース、入力プログラム、出力

結果期末考査

7

１章　はじめにシラバス案（３ / ６）評価

自作コンパイラ作成プロジェクト６０％期末考査４０％

成績優９０％以上良７５％以上、９０％未満可６０％以上、７５％以下不可６０％未満合計が６０％に満たない場合、上限を６０％として再試験を評価

上手な履修方法のアドバイススケジュールされた章を予め読んでおく事毎週スケジュールに沿ってプロジェクトを推進・検証する事プロジェクト推進に必要な内容を整理しておく事

8

１章　はじめにシラバス案（４ / ６）授業スケジュール

１週目～月～日（～）１章：はじめに２章：コンパイラ

２週目～月～日（～）３章：問題の把握４章：開発環境の設定

３週目～月～日（～）５章：語彙定義４週目～月～日（～）６章：スキャナーの構築５週目～月～日（～）７章：文法定義６週目～月～日（～）８章：パーサの構築７週目～月～日（～）９章：パーサの構築（変数と関数）８週目～月～日（～）１０章：パーサの構築（式と代入文）９週目～月～日（～）１１章：パーサの構築（選択文と繰り返し

文）１０週目～月～日（～）１２章：シンボルテーブル１１週目～月～日（～）１３章：コードジェネレータ１２週目～月～日（～）１４章：コードジェネレータ（変数と関数）１３週目～月～日（～）１５章：コードジェネレータ（式と代入文）１４週目～月～日（～）１６章：コードジェネレータ（選択文）

１７章：コードジェネレータ（繰り返し文）１５週目～月～日（～）１８章：ポストモーテム（事後検証）

１６週目～月～日（～）期末考査

9

１章　はじめにシラバス案（５ / ６）

添付 CD 内容

統合開発環境プロジェクト一式 Visual Studio .NET 2003 Visual Studio 2005 Visual C#/C++ 2005 Express Edition

Express Edition 用擬似アセンブラ入出力ライブラリ

iolib.lib / iolib.dll / iolib.inc コンパイラ開発用テンプレート

C# テンプレートソース（ Primitive.cs ）入力ファイル (in.txt) 出力ファイル (out.asm)

テストプログラム検証用テストプログラムサンプル一式 HelloWorld.txt Change.txt Fibonacci.txt Prime.txt

統合化環境用サンプルプログラム PrimitiveIDE

教科書／テキストソフトウエア実践講座　～コンパイラ入門～ソフトバンククリエイティブ株式会社 IＳＢＮ４－７９７３－３１６９－０

本スライドにはテキストの一部を抜粋して使用しています

10

１章　はじめにシラバス案（６ / ６）～テキスト目次準備作業

１章　　はじめに２章　　コンパイラ３章　　問題の把握４章　　開発環境の設定

スキャナの構築５章　　語彙定義６章　　スキャナの構築

パーサの構築７章　文法定義８章　　パーサの構築９章　　パーサの構築（変数と関数）１０章　パーサの構築（式と代入文）１１章　パーサの構築（選択文と繰り返し文）１２章　シンボルテーブル

コードジェネレータの構築１３章　コードジェネレータ１４章　コードジェネレータ（変数と関数）１５章　コードジェネレータ（式と代入文）１６章　コードジェネレータ（選択文）１７章　コードジェネレータ（繰り返し文）

ポストモーテム（事後検証）１８章　ポストモーテム（事後検証）

付録Ａ　言語仕様Ｂ　トークンと言語仕様Ｃ　トークン一覧表Ｄ　スキャナ後の言語仕様Ｅ　文法変換規則Ｆ　文法変換後の言語仕様Ｇ　文法とパーサの変換対応表Ｈ　テンプレートＩ　　アセンブラ関連Ｊ　素数プログラム、アセンブラ、実行結果Ｋ　フィボナッチプログラム、アセンブラ、

実行結果Ｌ　添付ＣＤ－ＲＯＭについてＭ　参考情報

11

１章　はじめに１ . ３本書で構築するコンパイラについて

MODULE Prime;VAR　　　 i,j,n,q,r,flg : INTEGER;BEGIN　　　 WriteStr("N>");　　　 ReadInt(n);　　　 i:=2;　　　 WHILE i<=n　　　 DO　　　　　　 flg:=0;　　　 j:=2;　　　 WHILE j<i　　　 DO　　　　　　 q:=i/j;　　　　　　 r:=i-j*q;

IF r=0 THEN flg:=1 END;　　　　　　 j:=j+1　　　 END　　　 IF flg=0 　　　 THEN 　　　　　　　　　 WriteInt(i);　　　　　　 WriteStr(",");　　　 END;　　　 i:=i+1　　　 END;END Prime.

Input N>1000 　（入力）2 ：→剰余が無いので素数３：→２で割り切れないので素数４：→２で割り切れる５：→２→３→４で割り切れないので素数６：→２で割り切れる７：→２→３→４→５→６で割り切れないので素

数８：→２で割り切れる９：→２→３で割り切れる１０：→２で割り切れる・・・入力された数値までこれを繰り返す2,3,5,7,11,13,17,19,23,29,31,37,41,43,47,53,59,61,67,71,73,79,83,89,97,101,103,107,109, ・・・

12

２章　コンパイラ　コンパイラについて　コンパイラを構成する要素　これから学ぶべき内容

13

２章　コンパイラ2.1 コンパイラの概要

コンパイラ特定のプログラム言語をアセンブラに変換するプログラム一般的には、ある規則を別の規則に変換するプログラム規則＝特定の規則に沿った記述やフォーマット

コンパイラとインタープリタコンパイラは変換と実行が別のタイミングで行われる例： C 言語のコンパイル、アプリケーションの実行

インタープリタは変換と実行が同じタイミングで行われる例： BASIC インタープリタ

14

２章　コンパイラ2.1 コンパイラの概要

コンパイラは変換プログラム入力プログラム（通常～言語と名前がある）出力プログラム（通常、アセンブラ言語）

プログラム言語 main() { puts(Hello, World!); }

アセンブラ言語 .data Letter dd 0.code mov Letter, ‘H’ ....

コンパイラ入力出力

15

２章　コンパイラ2.1 コンパイラの概要手続き型言語

C, Pascal, COBOL, FORTRAN など

オブジェクト指向型言語 C# 、 C++ 、 Smalltalk など

関数型言語 Lisp, Scheme, ML など

論理型言語 Prolog など

16

２章　コンパイラ2.2 コンパイラの全体構成

コンパイラ

スキャナーパーサコードジェネレータ

プログラム言語 main() { puts(“Hello!); }

アセンブラ言語 .data Letter dd 0.code mov Letter, ‘H’ ....

入力：プログラム出力：トークン機能：トークンに分解

「トークン」とはプログラムの最小構成要素

入力：トークン出力：構文解析木機能：構成を分析

構成＝「文法」～あるべきトークンがあるべき場所に収まっているか

入力：構文解析出力：アセンブラ機能：意味（コードを生成）　

「意味」とは解析結果

17


プログラムMODULE HelloWorld;

BEGIN

WriteStr （“ Hello World!“)

END HelloWorld .

トークンMODULE

HelloWorld

;

BEGIN

WriteStr

(

"Hello World!“

)

END

HelloWorld

.

18


構文解析木（該当する部分のみ抽出）<program>= MODULE IDENT ;

<program1>BEGIN<statlist>END IDENT .

<program1>= ε | <decllist><statlist>= <statement>

<statlist1><statlist1> = ε

| ; <statement> <statlist1> <statement>=IDENT→WriteStr

<statement1><statement1>= (

<literal>)

<literal>= STR→“Hello World!” | NUMBER | IDENT

トークンMODULE HelloWorld;

BEGIN

WriteStr

(

"Hello World!“

)

END HelloWorld .

19


構文解析木（該当する部分のみ抽出）<program>= MODULE IDENT ;

<program1>BEGIN<statlist>END IDENT .

<program1>= ε | <decllist><statlist>= <statement>

<statlist1><statlist1> = ε

| ; <statement> <statlist1> <statement>=IDENT→WriteStr

<statement1><statement1>= (

<literal>)

<literal>= STR→”HelloWorld!” | NUMBER | IDENT

アセンブラ.586

.model flat,stdcall

INCLUDE iolib.inc

.data

　 Letter dd 0

.code

　 _start:

　 mov Letter, 'H'

　 invoke OutputLetter, Letter

　・・・　 invoke ExitProcess,0

　 end _start

END

20


準備作業１～４章：基礎知識と開発環境

フェーズ１５～６章：スキャナの構築

フェーズ２７～１２章：パーサの構築

フェーズ３１３～１７章：コードジェネレータの構築

ポストモーテム１８章：まとめと更に深い学習のために

21

３章　問題の把握ステップ１

　 BNF と文法 BNF と EBNF　言語仕様　プログラムと言語仕様との関係

22

３章　問題の把握3.2 BNF （ Backus Naur Form)

BNF 「文法」を記述する表記法コンピュータ言語を表す為に使われることが多い

英文法単語と単語の構成・関係を表す５文型は単語の品詞から英文の型を表現している

プログラム言語の文法プログラムの最小構成要素の構成・関係を表す変数、キーワード、オペレータなどの関係代入文の① abc=123 、② 123=abc 、どちらが正し

い？

23

３章　問題の把握3.2 BNF の定義

BNF ターミナル（終端記号）ノンターミナル（非終端記号）で < > と表記する左辺と右辺はターミナルとノンターミナルの集合体左辺　 ::= 右辺

本書では左辺はノンターミナルだけに制限する

例題＜文＞ ::= ＜主語＞　＜動詞＞　＜目的語＞＜主語＞ ::= I ＜動詞＞ ::= Love ＜目的語＞ ::= You

「 ::=」は置き換えるという意味、以後「→」を使用

24


BNF が出来ること文字列が文法に合致しているかどうかを「識別」できる置き換えのステップを「導出」と呼ぶ

例題ステップ１～先頭から開始される～＜文＞

ステップ２～＜文＞は＜主語＞＜動詞＞＜目的語＞によって置き換えられる～＜主語＞＜動詞＞＜目的語＞

ステップ３～＜主語＞は I によって置き換えられる～I ＜動詞＞＜目的語＞

ステップ４～＜動詞＞は Love によって置き換えられる～I Love ＜目的語＞

ステップ５～＜目的語＞は You によって置き換えられる～I Love You

ステップ６～＜文＞は I Love You に変換換された～

25


< 文 > ↓< 主語 t> < 動詞 > YOU ↓ ↓ Ｉ　ＬＯＶＥ

下記の様に表す

縦書きでも同義

26

３章　問題の把握3.2 BNF例～数値の識別

数値１文字以上の数字

BNF <number> → <digit> <number1> <number1> → ε

| <digit> <number1> <digit> → 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 注：｜（ＯＲ）は選択を示す（次スライド参照）

識別できる数値の例１、１、２、３、５、８、１３、２１・・・

識別できない数値の例 -123 （マイナスは定義されていない）、 abc( 数字ではない）

27


BNF <number> → <digit> <number1> <number1>→ ε| <digit> <number1> <digit> → 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

BNF （上記の記述と同義） <number> → <digit>

<number1> <digit> → 0 <digit> → 1 <digit> → 2 <digit> → 3 <digit> → 4 <digit> → 5 <digit> → 6 <digit> → 7 <digit> → 8 <digit> → 9 <number1> → ε <number1> → <digit>

<number1>

28


構文解析木識別に到る BNF （右辺と左辺）を表したもの前ページの例題でアニメーションが付いた部分を並べたもの

１を識別した場合の構文解析木 <number> → <digit> → １

<number1> → ε

１３の識別した場合の構文解析木 <number> → <digit> → 1

<number1> → <digit> → 3 <number1> → ε

ε （エプシロン）の意味該当する BNFやシンボルが「選択・識別」されなかった意味選択・識別する物が無いと明確に示す

29


構文解析木の表記についてトポロジーが一致していればどんな形式でもかまわない下記の解析木は同じ意味

横書きの場合（１３を識別した場合） <number> → <digit> → 1

<number1> → <digit> → 3 <number1> → ε

縦書きの場合（１３を識別した場合）<number> ↓<digit> <number1> ↓ ↓ １ <digit> <number1>

↓ ↓ 3 ε

30

３章　問題の把握3.2 BNF例～文字列の識別

文字列１文字以上の文字でプログラムでは識別子と呼ばれる

BNF <ident> → <letter> <ident1> <ident1> → ε

| <letter> <ident1> <letter> → a | b | c | d | e | f | g | h | i | j | k | l | m | 　　 n | o | p | q | r | s | t | u | v | w | x | y | z | 　　 A | B | C | D | E | F | G | H | I | J | K | L | M | 　　 N | O | P | Q | R | S | T | U | V | W | X | Y | Z

識別できる数値の例 a 、 ab, abc, xyz, Hello ・・

識別できない数値の例 123 、 abc123 （数字は定義されていない）

31

３章　問題の把握3.2 BNF例～文字列の識別

Ab を識別した場合の構文解析木ステップ１：　 <ident>

ステップ２：　 <ident>→<letter>　　　　　　　　　　　　　　　 <ident1>

ステップ３：　 <ident>→<letter>→A　　　　　　　　　　 <ident1>

ステップ４：　 <ident>→<letter>→ A <ident1>→<letter>

<ident1> ステップ５：　 <ident>→<letter>→ A

<ident1>→ <letter>→b <ident1>

ステップ６：　 <ident>→<letter>→ A <ident1>→ <letter>→ b

<ident1>→ε

32

３章　問題の把握3.3 ＢＮＦとＥＢＮＦ

ＥＢＮＦ Extended BNF （拡張されたＢＮＦ）ＢＮＦよりコンパクトに記述できる

（　）によるグルーピングまとめて処理できる

＊による０回以上の繰り返し再帰呼び出しを省略できる

＋による１回以上の繰り返し再帰呼び出しを省略できる

[ ] により二者択一の選択 ε を使わずに処理できる

33

３章　問題の把握3.3 ＥＢＮＦ～（　）と＊

ＢＮＦ（識別子） <ident> → <letter> <ident1> <ident1> → ε

→ <lettter> <ident1>→ <digit> <ident1>

<letter> → 前例と同じ（英小文字、英大文字） <digit>→ 前例と同じ（０～字、数値）

同等のＥＢＮＦ <ident> → <letter> ( <letter> | <digit> )*

（　）の効果 ( <letter> | <digit> ) によって２つのノンターミナルがまとめて処理

＊の効果 ( <letter> | <digit> )* により<ident1> の再帰呼び出しが不要

34

３章　問題の把握3.3 ＥＢＮＦ～ [ ]

ＢＮＦ <program> → MODULE <ident> ; <additional> BEGIN ・・・ END <i

dent> . <additional>→ ε

→ <decllist> （変数定義が行われるノンターミナル）

同等のＥＢＮＦ <program> --> MODULE <ident> ; [ <decllist> ] BEGIN ・・・ END <ident> .

例題１～変数が無い場合は [ ] 内が選択されなかった MODULE PROGRAM; ～ここに変数定義が無い～ BEGIN

・・・

例題２～変数がある場合は [ ] 内が選択された MODULE PROGRAM;

VAR I, J, K : INTEGER; BEGIN

・・・

35

３章　問題の把握3.3 ＥＢＮＦ～＋

ＢＮＦ <decllist>→ 　 VAR <decilist1> <decllist1> → 　 <identlist> : <type> ; <decllist2> <decllist2> → ε

→ 　 <decilist1>　

同等のＥＢＮＦ <decllist> -->VAR ( <identlist> : <type> ; )+

例題１～ <decllist> が＋により１回選択された場合（前ページの例題２） .

例題２～変数定義のラインは１回以上何回定義されてもよい（この例では３回）

MODULE PROGRAM;VAR I, J, K : INTEGER;VAR a, b : INTEGER;VAR z, z, x, y, z : INTEGER;・・・

BEGIN・・・

36

３章　問題の把握3.4 言語仕様＝プログラムの設計図<program> → 　 MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<ident> → 　 <letter> ( <letter> | <digit> )*<decllist> → 　 VAR ( <identlist> : <type> ; )+<statlist> → 　 <statement> ( ; <statement> )*<identlist> → 　 <ident> ( , <ident> )*<type> → 　 INTEGER | STRING<statement> → 　 <ident> := <expression> | IF <relation> THEN <statlist> [ ELSE <statlist> ] END

| WHILE <relation> DO <statlist> END | <ident> "(" <literal> ")“

<relation> → 　 <expression> <rel op> <expression><expression>→ <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> → 　 <factor> ( <mul op> <factor> )*<factor> → 　 <literal> | "(" <expression> ")“<literal> → 　 <ident> | <integer> | <string><integer> → 　 <digit>+<rel op> → 　 = | < | <= | <> | > | >=<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /<digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9<string> → 　 " <any character except EOF, EOL and "> “<letter> → 　 a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p | q | r | s | t | u | v | w | x | y | z |

　　 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z

37

３章　問題の把握3.4 言語仕様の説明

<program> は変数定義と文から構成される <program> → 　 MODULE <ident> ;

[ <decllist> ] BEGIN

<statlist> END <ident> .

<decllist> → 　 VAR ( <identlist> : <type> ; )+ <identlist> → 　 <ident> ( , <ident> )* <type> → 　 INTEGER | STRING

<statlist> → 　 <statement> ( ; <statement> )* <statement>→ 　 <ident> := <expression>

　 | IF <relation> THEN <statlist> [ ELSE <statlist> ] END


変数定義例　 VAR I,J,K: INTEGER;

文例 WriteStr(“HelloWorld!”)

38

３章　問題の把握3.4 言語仕様の説明

<ident> による識別子～先頭が英字で２文字目以降は英数字 <ident> → <letter> ( <letter> | <digit> )* <digit> → 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 <letter> → a | b | c | d | e | f | g | h | i | j | k | l | m | n

o | p | q | r | s | t | u | v | w | x | y | z | A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z

<string> は” と“で囲まれた文字、但し、 EOF, EOL, ” は除く <string> → 　 " <any character except EOF, EOL and "> “ ＥＯＬ (End Of Line)～２行にまたがれないＥＯＦ（ End Of File)～ファイルの終わりまで継続できない例：” Hello World!”, ”Input N>”, etc

<integer> による数値～１桁以上の数値 <integer> → 　 <digit>+ <digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

39

３章　問題の把握3.4 言語仕様の説明（２ /３）

<unary op> は符号 <unary op>→ 　 + | -

<add op> は加減演算 <add op> → 　 + | -

<mul op> は乗除演算 <mul op> → 　 * | /

比較演算子 <rel op> → 　 = （ＥＱ）

→ 　 < （ＬＴ）→ 　 <= （ＬＥ）→ 　 <> （ＮＥ）→ 　 > （ＧＴ）→ 　 >= （ＧＥ）

40

３章　問題の把握3.4 言語仕様の説明（３ /３）

<literal> は <ident> か <integer> か <string> <literal> → 　 <ident> | <integer> | <string>

<expression> は符号と加減乗除付の <literal> の式（再帰的に定義）例１： 1+2*3 （加算、乗算）例２： -1+-2*-3 （符号付）例３： (1+2)*3 （括弧付の式～加算優先）例 4 ： (((1)))

<expression>→ 　 [ <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*

<term> → 　 <factor> ( <mul op> <factor> )* <factor> → 　 <literal> | "(" <expression> ")“

<relation> は比較式～式と式を比較演算子で結合例： 123<234 <relation>→ 　 <expression> <rel op> <expression>

41

３章　問題の把握3.5 言語仕様とプログラム

相当する言語仕様 ( 該当する部分のみ）<program> 　 → MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<statlist> 　　 → <statement> ( ; <statement> )*<statement> → 　 <ident> "(" <literal> ")“


BEGIN

WriteStr ( "Hello World!“ )

END HelloWorld .

プログラムと言語仕様の対応MODULE <ident> ;

BEGIN

<statlist>→<statement>→<ident> ( <literal> )

END <ident> .

42

４章　開発環境の設定ステップ２

　環境設定と動作検証　プロジェクト環境のセットアップ　Ｃ＃ / アセンブラの開発 / 実行環境検証

43

４章　開発環境の設定4.1 事前準備（開発環境）

開発環境自作コンパイラを作るために必要な開発 /実行環境コンパイラ、マクロアセンブラ、リンカが必要

コンパイラ ① 　 Visual Studio 2005 ② 　 Visual Studio .NET 2003 ③　 Visual C# 2005 Express Edition 　（無料ダウンロードはテキスト参

照）

アセンブラマクロアセンブラ（ ml ）～ ①、②の場合擬似アセンブラ（ mlx）～ ③の場合　（添付ＣＤに格納）

リンカリンカ（ link ）～ ①、②の場合 Visual C++ 2005 Express Edition ～ ③の場合

（無料ダウンロードについての詳細はテキスト参照）

44

４章　開発環境の設定4.1 事前準備（開発方法）統合開発環境による開発

プログラム開発作業の効率化プロジェクト（ CD で提供）を利用可能新しい言語と環境に慣れる為に、こちらがお勧め

コマンドラインによる開発エディタによるプログラム入力コンパイル、アセンブル、リンク、実行はコマンド入

力前提知識や間接作業が多いので、熟練者向き

45

４章　開発環境の設定4.1 事前準備（開発方法）

統合開発環境豊富な機能とメニューを選

択

コマンドライン全てコマンドを入力

46

４章　開発環境の設定4.1 事前準備

① 開発環境がインストールされている事を確認 Visual Studio 2005 Visual Studio .NET 2003 Visual C#/C++ 2005 Express Edition 　（２つ必

要）

② 開発環境を持っていない場合 Visual C#/C++ 2005 Express Edition をダウンロ

ード

③ テキスト 4.1 事前準備を熟読「陥りやすいトラブル」は必ず目を通すこと！

47

４章　開発環境の設定4.1 事前準備

Visual Studio 2005 の統合開発環境を使う場合テキスト４．２を参照しながら各自で実行

Visual Studio .NET 2003 の統合開発環境を使う場合テキスト４．３を参照しながら各自で実行

Visual C#/C++ 2005 Express Edition の統合開発環境を使う場合

テキスト４．４を参照しながら各自で実行

上記の開発環境でコマンドラインを用いて開発する場合

テキスト４．５を参照しながら各自で実行

48

４章　開発環境の設定参考セットアップ

　 Visual Studio 2005 　（統合開発環境版）をダブルクリック　

　 Setup.exe をダブルクリックし、インストーラを起動　

49

４章　開発環境の設定参考セットアップ

50

４章　開発環境の設定参考 C# の開発 / 実行環境検証

入力

検証用プログラム In.txt

出力

実行結果out.asm C#

入力出力

動作検証入力ファイルをコンパイル・実行、出力結果を確認

開発環境、方法を自ら検証し、動作確認できる

開発環境・方法

51

４章　開発環境の設定参考アセンブラの開発 / 実行環境検証

動作検証入力ファイルをアセンブル・リンク・実行、出力結果

を確認開発環境、方法を自ら検証し、動作確認できる

入力

検証用プログラム out.asm

出力

実行結果 out.exe アセンブラ

リンカ

入力出力

開発環境・方法

52

４章　開発環境の設定参考 C# 、アセンブラ、リンカ

コンパイラ（自作コンパイラを開発する言語）Ｃ＃

マクロアセンブラ ML （ MASM の後継）コンパイラが生成したアセンブラをオブジェクトに変換

リンカ LINK アセンブラが生成したオブジェクトを実行形式に変換

53

４章　開発環境の設定参考 C# 、アセンブラ、リンカ

コマンドを入力することで検証可能

54

４章　開発環境の設定参考コマンドプロンプト開発製品のコマンドプロンプトを使うこと

アクセサリから起動したコマンドプロンプトは使わないこと

55

５章　語彙（ごい）定義ステップ３

　入力　言語仕様

　出力　トークン定義（一覧、チャート）

56

５章　語彙定義5.1 トークン


BEGIN

WriteStr （“ Hello World!“)

END HelloWorld .

トークンMODULE

HelloWorld

;

BEGIN

WriteStr

(

"Hello World!“

)

END

HelloWorld

.

　トークンとはプログラムの最小構成要素　

文章だと、「単語」に相当プログラムだと、「トークン」と言われる

57

５章　語彙定義5.1 トークン

トークンは言語仕様の中で定義されている ①　＜規則＞で定義されているもの～識別子、数値、文字列 ②　予約語～ＭＯＤＵＬＥ、ＩＮＴＥＧＥＲなど ③　埋め込まれている記号～２文字（＜＞、：＝）、１文字（；

　．）など BNF で使われているシンボルとの違いに注意

例１　 <ident> は規則で定義（先頭が英字で、２文字目以降は英数字）例２　 MODULE, BEGIN, END等、プログラムの予約語例３　「；」や「．」など埋め込まれている文字

<program> → 　 MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<ident> → 　 <letter> ( <letter> | <digit> )*<digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9<letter> → 　 a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p |

q | r | s | t | u | v | w | x | y | z |　　 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P |

　　　　　　　　　 Q | R | S | T | U | V | W | X | Y | Z

58

５章　語彙定義5.2 語彙定義

＜規則＞で定義されているトークン識別子（先頭は英字、２文字目以降は英数字）数値（１桁（１文字）以上の数字）文字列（“と”に囲まれた文字～但し１行以内のもの）

<ident> → 　 <letter> ( <letter> | <digit> )* 識別子<integer> → 　 <digit>+ 数値<string> → 　“ <any character except EOF, EOL and ”> “ 文字列

<digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9<letter> → 　 a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p |

　　 q | r | s | t | u | v | w | x | y | z |　　 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P |

Q | R | S | T | U | V | W | X | Y | Z

59

５章　語彙定義5.2 語彙定義

予約語プログラムの中で予め決められている文字列予約語は識別子として使えないことに注意

<program> 　　→　 MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<decllist> 　　→　 VAR ( <identlist> : <type> ; )+<type> 　　→　 INTEGER | STRING<statement> → 　 <ident> := <expression> | IF <relation> THEN <statlist> [ ELSE <statlist> ] END


60

５章　語彙定義5.2 語彙定義（３ / ３）

記号区切り記号識別子の規則で定義できない（先頭が英字、２文字目以降が英数）<program> 　 →　 MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<decllist> 　 →　 VAR ( <identlist> : <type> ; )+<statlist> 　 →　 <statement> ( ; <statement> )*<identlist> 　 →　 <ident> ( , <ident> )*<statement> → 　 <ident> := <expression> | IF <relation> THEN <statlist> [ ELSE <statlist> ] END

| WHILE <relation> DO <statlist> END | <ident> "(" <literal> ")”

<relation> 　 →　 <expression> <rel op> <expression><expression> → 　 <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> → 　 <factor> ( <mul op> <factor> )*<factor> → 　 <literal> | "(" <expression> ")”<rel op> → 　 = | < | <= | <> | > | >=<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /

61

５章　語彙定義5.2 トークン一覧

62

５章　語彙定義5.2 トークン識別チャート

同じ文字を持つトークンごとにチャート化

63

５章　語彙定義5.3 語彙定義で使用された規則

この言語仕様の＜規則＞はスキャナでのみで使用されるこれ以降（パーサ以降）は使用しないので削除しておく

<ident> → 　 <letter> ( <letter> | <digit> )*

<integer> → 　 <digit>+

<string> → 　“ <any character except EOF, EOL and ”> “

<digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

<letter> → 　 a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p |

q | r | s | t | u | v | w | x | y | z |

　　 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P |

Q | R | S | T | U | V | W | X | Y | Z

64

<program> 　 →　 MODULE IDENT ; [ <decllist> ] BEGIN <statlist> END IDENT .<decllist> 　 →　 VAR ( <identlist> : <type> ; )+<statlist> → <statement> ( ; <statement> )*<identlist> → 　 IDENT ( , IDENT )*<type> → 　 INTEGER | STRING<statement> → 　 IDENT := <expression>

　 | IF <relation> THEN <statlist> [ ELSE <statlist> ] END 　 | WHILE <relation> DO <statlist> END 　 | IDENT "(" <literal> ")“

<relation> 　　→　 <expression> <rel op> <expression><expression> → 　 [ <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> 　　→　 <factor> ( <mul op> <factor> )*<factor> 　　→　 <literal> | "(" <expression> ")“<literal> → 　 IDENT | NUMBER | STR<rel op> → 　 = | < | <= | <> | > | >=<unary op> 　 →　 + | -<add op> → 　 + | -<mul op> → 　 * | /

５章　語彙定義5.3 新しい言語仕様

65

６章　スキャナの構築ステップ４

　入力　トークン定義（一覧、チャート）　 Primitive.cs （スキャナ実装前）

　出力　 Primitive.cs 　（スキャナー実装済み）

66

６章スキャナの構築6.1 Token クラス

Token クラスはテンプレートに定義済みスキャナーは下記の情報だけを設定する

// Token public class Token{

public String def = “”; トークン定義（ユニークな名称～何でも良い）public String str = “”;読み込んだトークン文字列public String type = “”; タイプ　（変数の場合、整数型か文字型かを設定）

}

初期設定識別子の例予約語の例記号の例 token.def=“”; token.def=“IDENT” token.def=“BEGIN” token.def=“ASSIGN” token.str=“EOF”; token.str=“abc” token.str=“BEGIN” token.str=“:=“ token.type=“EOF”; token.type=EOF” token.type=“EOF” token.type=“EOF”

67

６章スキャナの構築6.1 トークン定義

ユニークな名称であれば何でも良いが、下記を使用するテキストではこの名称で統一しているので後で分かりやすい

68

６章スキャナの構築6.1 トークン定義

これは１文字、２文字から構成されるトークン

69

６章スキャナの構築6.2 入出力　

// IO: Scanner + Code Generatorpublic class IOStream 　{

public void Open(String fin, String fout) 　ファイルのオープンpublic void Close() 　　ファイルのクローズ

public void PutString(String operation) 　ファイルへ文字列を書き込むpublic int GetCharacter() 　　ファイルより１文字読み出すpublic void UngetCharacter(int i) 　　ファイル（バッファ）へ１文字戻す

　　パラメータが：public bool isEOF(int i) 　　 EOF 場合に TRUEpublic bool isWhiteSpace(int i)　　 White スペース（タブなど）の場合に TRUEpublic bool isDigit(int i) 　　数字の場合に TRUEpublic bool isAlpha(int i) 　　英字（大文字・小文字）の場合に TRUEpublic bool isSign(int i) 　　符号（ +/- ）の場合に TRUE

｝

　これらはテンプレートの設定済み　

70

６章スキャナの構築6.3 スキャナ　 (Main)

static void Main(string[] args){

・・・io.Open(inFile, outFile); ファイルをオープンする

　　　 //Scanner Test　　　 token = io.GetToken(); 最初のトークンを読み込むwhile (token.def != “EOF”) ファイルの終わりで無い場合{　　 System.Console.WriteLine(token.def + “ ” + token.str); トークンを画面表示　　 token = io.GetToken(); 次のトークンを読み込む}

io.Close(); ファイルをクローズする・・・

}

71

６章スキャナの構築6.3 スキャナ　 (GetToken)

// IO: Scanner + Code Generatorpublic class IOStream スキャナは IOStream の中に定義{　　・・・　 // Scanner　 public Token GetToken() これがスキャナのメソッド　 {　　　　 token.str = “”; 最初に token の初期設定を行う　　　　 token.def = "EOF";　　　　 token.type = "EOF";

　　　　 c = GetCharacter(); １文字を入力する　　　　 while (isWhiteSpace(c)) 空文字である場合は　　　　 {　　　　　　 c = GetCharacter(); 読み飛ばす

}

　　　　ここの部分にトークンを定義する次ページ以降を参照）｝

72

６章スキャナの構築6.3 スキャナ　 ( 識別子 )

　　・・・ここは 6.3 スキャナ (GetToken) の一部

　　 if (isAlpha(c)) 最初の文字が英字　　 {　　　　 while (isAlpha(c) || isDigit(c)) ２番目以降が英数字の場合　　　　 {　　　　　　 token.str = token.str + (char)c;トークン文字列に１文字を追加　　　　　　 c = GetCharacter(); 次の文字を読み込む　　　　 }　　　　 UngetCharacter(c); 英数字で無いので１文字を戻す　　　　

token.def = “IDENT”; トークン定義の文字列を IDENT に設定　 return token; 呼び出し元に戻る

　　 }

73

６章スキャナの構築6.3 スキャナ　 ( 予約語 )


　　 if (isAlpha(c)) ここから　　 { 　　　　　・・・　　　　 while (isAlpha(c) || isDigit(c)) ・・・　　　　・・・・・・　　　　 UngetCharacter(c); ここまでは識別子と同じ、この下に追加

予約語を１つ１つチェックしていく if 　　　 (token.str.Equals("MODULE")) { token.def = token.str; return token; }

　　　　 else if (token.str.Equals("BEGIN")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("END")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("VAR")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("INTEGER")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("STRING")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("IF")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("THEN")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("ELSE")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("WHILE")) { token.def = token.str; return token; }　　　　 else if (token.str.Equals("DO")) { token.def = token.str; return token; }

else { token.def = "IDENT"; return token; }　　 }

74

６章スキャナの構築6.3 スキャナ　（数値と文字列 )

　　・・・ここは 6.3 スキャナ (GetToken) の一部　　 else if (isDigit(c)) 先頭の文字が数字　　 {　　　　 while (isDigit(c)) ２番目以降も数字の場合　　　　 {　　　　　　 token.str = token.str + (char)c; トークン文字列に１文字を追加　　　　　　 c = GetCharacter(); 次の文字を読み込む　　　　 }　　　　 UngetCharacter(c); 数字で無いので１文字を戻す　　　　 token.def = "NUMBER"; トークン定義の文字列を NUMBER に設定　　　　 return token; 呼び出し元に戻る　　 }

　　 else if (c == ‘“’) 先頭の文字が”の場合　　 {　　　　 c = GetCharacter(); １文字を読み込む　　　　 while (c != ‘“’) 終わりの”でない場合　　　　 {　　　　　　 token.str = token.str + (char)c; トークン文字列に１文字を追加　　　　　　 c = GetCharacter(); 次の文字を読み込む　　　　 }　　　　 token.def = “STR”; トークン定義の文字列を STR に設定　　　　 return token; 読み出し元に戻る　　 }　　・・・

75

６章スキャナの構築6.3 スキャナ　 ( 記号～２文字 )

　　・・・ここは 6.3 スキャナ (GetToken) の一部　　 else if (c == ‘<’) 先頭の文字が＜の場合　　 {　　　　 c = GetCharacter(); 次の文字を読み込む　　　　 if (c == ‘=’) ２番目の文字が＝の場合　　　　 {　　　　　　 token.str = “<=”; トークン文字列を設定　　　　　　 token.def = “LE”; トークン定義の文字列を LE に設定　　　　　　 return token; 呼び出し元に戻る　　　　 }　　　　 else if (c == ‘>’) ２番目の文字が＞の場合　　　　 {　　　　　　 token.str = “<>”; トークン文字列を設定　　　　　　 token.def = “NE”; トークン定義の文字列をＮＥに設定　　　　　　 return token; 呼び出し元に戻る　　　　 }　　　　 else ２番目の文字が＝でも＞でもない場合　　　　 {　　　　　　 UngetCharacter(c); １文字を戻す　　　　　　 token.str = "<"; トークン文字列を設定　　　　　　 token.def = “LT”; トークン定義の文字列をＬＴに設定　　　　　　 return token; 呼び出し元に戻る　　　　 }　　　　・・・＞、＞＝や、：、：＝も同様にして識

別する

76

６章スキャナの構築6.3 スキャナ　 ( 記号～１文字 )


　　 else if (c == '=') { token.str = "="; token.def = "EQ"; return token; }　　 else if (c == '+') { token.str = "+"; token.def = "PLUS"; return token; }　　 else if (c == '-') { token.str = "-"; token.def = "MINUS"; return token; }　　 else if (c == '*') { token.str = "*"; token.def = "MULT"; return token; }　　 else if (c == '/') { token.str = "/"; token.def = "DIV"; return token; }　　 else if (c == ';') { token.str = ";"; token.def = "SEMICOLON"; return token; }　　 else if (c == ',') { token.str = ","; token.def = "COMMA"; return token; }　　 else if (c == '(') { token.str = "("; token.def = "OPEN"; return token; }　　 else if (c == ')') { token.str = ")"; token.def = "CLOSE"; return token; }　　 else if (c == '.') { token.str = "."; token.def = "PERIOD"; return token; }

　　 else if (c == -1) { token.str = ""; token.def = "EOF"; token.type = ""; return token; }

　　 else { エラー｝

77

６章スキャナの構築6.4 チェックポイント

入力ファイル (in.txt)

にデータを設定

Primitive.cs を実行し出力結果を比較

コンパイルと実行は４章を参照

78

７章　文法定義ステップ５

　入力　言語仕様（５．３～新しい言語仕様）

　出力　言語仕様（パーサで使用するもの）

79

変換前の言語仕様（パーサに変換できない）

↓①　ＥＢＮＦをＢＮＦに変換②　共通項の除去③　再帰性の除去（オプション）④　分岐条件の明確化

↓変換後の言語仕様（パーサに変換できる）

７章　文法定義7.1 文法変換とパーサ

80

変換元の言語仕様

<program> 　 →　 MODULE IDENT ; [ <decllist> ] BEGIN <statlist> END IDENT .<decllist> 　 →　 VAR ( <identlist> : <type> ; )+<statlist> → <statement> ( ; <statement> )*<identlist> → 　 IDENT ( , IDENT )*<type> → 　 INTEGER | STRING<statement> → 　 IDENT := <expression>

　 | IF <relation> THEN <statlist> [ ELSE <statlist> ] END 　 | WHILE <relation> DO <statlist> END 　 | IDENT "(" <literal> ")“

<relation> 　　→　 <expression> <rel op> <expression><expression> → 　 [ <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> 　　→　 <factor> ( <mul op> <factor> )*<factor> 　　→　 <literal> | "(" <expression> ")“<literal> → 　 IDENT | NUMBER | STR<rel op> → 　 = | < | <= | <> | > | >=<unary op> 　 →　 + | -<add op> → 　 + | -<mul op> → 　 * | /

７章　文法定義7.2 EBNFから BNFへの変換

81

７章　文法定義7.2 EBNFから BNFへの変換ＥＢＮＦの文法をＢＮＦの文法へ変換

（　）を使わない＊を使わない＋を使わない [ ] を使わない

使わないという意味は別の形（ＢＮＦ）で同等の操作に置き換え

る再帰的な文法記述 ε の導入

詳細は３．３を復習

82

７章　文法定義7.2 EBNFから BNFへの変換

83

７章　文法定義7.2 EBNFから BNFへの変換<program> の変換

<decllist> の変換

<statlist> の変換

84

７章　文法定義7.2 EBNFからＢＮＦへの変換<identlist> の変換

<statement> の変換

85

７章　文法定義7.2 EBNFからＢＮＦへの変換<expression> の変換

<term> の変換

86

７章　文法定義7.3 共通項の除去<decllist> の変換

<statement> の変換

87

７章　文法定義7.4 分岐条件の明確化

分岐条件の明確化同一ノンターミナルで複数の規則がある場合トークンを使って分岐ができれば→分岐条件は明確

分岐条件が明確の場合 <sample>→ 　 TOKEN-1 <next> ・・・ (A) <sample>→ 　 TOKEN-2 <next> ・・・ (B) TOKEN-1/2 を使ってそれぞれ (A)/(B) に分岐可能

分岐条件が明確でない場合 <sample>→ 　 TOKEN-1 <next> ・・・ (A) <sample>→ 　 TOKEN-1 <next> ・・・ (B) TOKEN-1 では (A) に分岐して良いか、 (B) に分岐して良いか分か

らない

88


見分け方同一ノンターミナルで複数の規則がある場合取りうる可能性のある全てのトークンを抜き出して重複しているトークンがあるかをチェックする

該当しない例～規則が１つしかない場合 <decllist> → 　 VAR <decllist1>

簡単な例 <type> → 　 INTEGER | STRING 取りえる可能性のあるトークンは INTEGER か STRING

簡単な例 <statement>→ 　 IDENT <statement1> Ａ

| IF <relation> THEN <statlist> <ifl> END Ｂ | 　　 WHILE <relation> DO <statlist> END Ｃ

IDNET の時Ａの規則、ＩＦの時Ｂの規則、ＷＨＩＬＥの時にＣの規則トークンを見て、それぞれの規則に分岐できる

89


複雑な例（テキストＰ１０６） <expression>→ <expression1> <term> <expression2> アルゴリズム的な抽出の方法はテキストにて説明これは一見とても難しく見える・・・背景にある理由を理解する

理解を助ける方法について上の規則は式を導く～ 1, -1, 1+1, 1*1, a/b, a*b*c, (1*2)+3 などつまり、 <expression2> の次はどんなトークンを導くかは、

「式」の後にどんなトークンを導くかを推定すればよい <expression> 後のトークン、 <expression2> 後のトークン、こ

れは同義 <expression1> <term> <expression2> 　● ←ここの部分 <expression> ● ←ここの部分左辺と右辺は規則によって置き換わっただけ

90

７章　文法定義7.4 分岐条件の明確化プログラム例　（１が式を表す、●の右が次のトークン）

A:=1 ● ; → ; を導く A:=(1 ● ); → ) を導く IF A=1 ● THEN → THEN を導く WHILE A<1 ● DO → DO を導く IF 1 ● <>B → <> を導く（＝比較演算子全て） IF... THEN A:=1 ● ELSE → ELSE を導く ... ELSE B:=1 ● END → END を導く

この様に該当規則がプログラム中で使われている場所を考えるＰ１０６はこれを機械的にやっているだけに過ぎない図と説明だけを目で追っていかずに背景をきちんと理解する

91

７章　文法定義文法変換後の言語仕様（１ / ２ )

<program> → 　 MODULE IDENT ; <program1> BEGIN <statlist> END IDENT .

<program1> → 　 ε → {BEGIN}| <decllist> → {VAR}

<decllist> → 　 VAR <decllist1><decllist1> → 　 <identlist> : <type> ; <decllist2><decllist2> → 　 ε → {BEGIN}

| 　 <decllist1> → {IDENT}

<statlist> → 　 <statement> <statlist1> <statlist1> → 　 ε → {END, ELSE}

| ; <statement> <statlist1> → {;}

<identlist> → 　 IDENT <identlist1><identlist1> → 　 ε → {:}

| , IDENT <identlist1> → {,}

<type> → 　 INTEGER | STRING

<statement> → 　 IDENT <statement1>| IF <relation> THEN <statlist> <ifl> END| 　　 WHILE <relation> DO <statlist> END

92

７章　文法定義文法変換後の言語仕様（２ / ２ )<statement1> → 　 := <expression>

| ( <literal>)<if1> → 　 ε → {END}

| ELSE <statlist> → {ELSE}

<relation> → 　 <expression> <rel op> <expression><expression> → 　 <expression1> <term> <expression2><expression1> → 　 ε → {(, IDENT, NUMBER,STR)

| <unary op> → {+, -}<expression2> → 　 ε → {;, END, <>, <=, <, =, >, >=, THEN, DO, ), ELSE}

| <add op> <expression3> <term> <expression2> → {+, -}<expression3> → 　 ε → {(, IDENT, NUMBER, STR)

| <unary op> → {+, -}

<term> → 　 <factor> <term1><term1> → 　 ε → {+, -, ;, END, <>, <=, <, =, >, >=, THEN, DO, ELSE}

| <mul op> <factor> <term1> → {*, /}<factor> → 　 <literal> → {IDENT, N

UMBER, STR}| ( <expression> ) → {(}

<literal> → 　 IDENT | NUMBER | STR<rel op> → 　 <> | <= | < | = | > |>=<unary op> → 　 =+ | -<add op> → 　 =+ | -<mul op> → 　 * | /

93

８章　パーサの構築ステップ６

　入力　言語仕様（７．６～変換済み言語仕様）　 Primitive.cs （スキャナー実装済み）

　出力　 Primitive.cs （ Hello World のみ識別するパーサ）

94

８章　パーサの構築8.1 パースツリー

MODULE HelloWorld;

BEGIN

　 WriteStr ( "Hello World!“ )

END HelloWorld .

入力

正常

エラー

出力

95

８章　パーサの構築8.2 パーサの構築

Main・・・static void Main(string[] args){　　・・・　　 io.Open(inFile, outFile);　　 parse.Entry(); パーサのエントリー　　・・・　　 io.Close();　　・・・}・・・public class Parse パーサはこのクラスに記述する{

token = io.GetToken(); 最初のトークンを読み込むProgram(); プログラム（言語仕様）の最初を呼び出すXMATCH(“EOF”); 最後のトークンはＥＯＦ

}

96


テスト用メソッド（パーサを構築していくときに使うと便利なメソッド）

private void strmsg(string msg) メソッド開始時に呼び出すと便利{　　 Console.WriteLine(msg + " started"); Console.ReadLine(); }　　

private void endmsg(string msg) メソッド終了時に呼び出すと便利{　　 Console.WriteLine(msg + " ended"); }

private void msg() 現在のトークン内容を表示する{　　 Console.WriteLine("Token.str=" + token.str + " def=" + token.def); }

private void stop() エラー時には stop(); で強制終了{　　 Console.ReadLine(); System.Diagnostics.Process.GetCurrentProcess().Close(); }

97


トークンのマッチングを行うメソッド

指定されたトークンと次のトークンを比較する。マッチしない場合は、エラーとなる。このメソッドを使うことで、マッチング処理を統一化できる上、プログラムが見やすくな

る。

private void XMATCH(string s){　　 if (s.Equals(token.def)) { token = io.GetToken(); }　　 else { Console.WriteLine("Parse error");stop();}}

指定されたトークンと現在のトークンを比較する。通常、ＩＦ文と共に使用される。

private bool MATCH(string s){　　 if (s.Equals(token.def)) 　 { return true; }　　 else { return false; }}

98

８章　パーサの構築8.2 ＜ program>

文法分岐条件<program>

→ MODULE IDENT ; <program1> 　BEGIN 　 <statlist>END IDENT .

変換コードpublic void Program()

{

XMATCH("MODULE");XMATCH("IDENT");XMATCH("SEMICOLON");

//Program1(); 　～８章では限定的な例題の為に、ここはコメントとする～XMATCH("BEGIN");Statlist();

XMATCH("END");XMATCH("IDENT");XMATCH("PERIOD");

｝

99

８章　パーサの構築8.2 <statlist>

文法分岐条件<statlist>

→ <statement> <statlist1>

変換コード public void Statlist()

{

Statement();Statlist1();

}

100

８章　パーサの構築8.2 <statlist1>

文法分岐条件<statlist1>

→ ε {END, ELSE}→ ; <statement> 　 <statlist1> {;}

変換コードpublic void Statlist1()

{

if (MATCH(“SEMICOLON”)) 　 {XMATCH("SEMICOLON");Statement();Statlist1();}

}

ε を含むため、 else は不要

101

８章　パーサの構築8.2 < statement>

文法分岐条件<statement>

→ IDENT <statement1>

→ IF <relation> THEN <statlist> <ifl> END

→ WHILE <relation> DO <statlist> END

変換コードpublic void Statement()

{

if (MATCH("IDENT")) {XMATCH("IDENT"); Statement1();}

else if (MATCH("IF")) {XMATCH("IF"); Relation();XMATCH("THEN");

Statlist(); If1();XMATCH("END");}

else if (MATCH("WHILE")) {XMATCH("WHILE"); Relation();

XMATCH("DO"); Statlist();XMATCH("END");}

else { エラー }

}

102

８章　パーサの構築8.2 < statement1>

文法分岐条件<statement1>

→ := <expression>

→ ( 　 <literal> 　 )

変換コードpublic void Statement1() {

if (MATCH(“OPEN”)) 　　 {XMATCH("OPEN");Literal();XMATCH("CLOSE");}

else if (MATCH(“ASSIGN”)) 　 {XMATCH("ASSIGN");Expression();}}

else { エラー｝}

103

８章　パーサの構築8.2 <literal>

文法分岐条件<literal>

→ IDENT→ NUMBER→ STR

変換コードpublic void Literal() {

if (MATCH("STR")) {XMATCH("STR");}

else if (MATCH("IDENT")) {XMATCH("IDENT");}

else if (MATCH("NUMBER")) {XMATCH("NUMBER");}

else { エラー }

}

104

８章パーサの構築8.3 チェックポイント

入力ファイル (in.txt) MODULE HelloWorld; 　 BEGIN 　 WriteStr ( "Hello World!“ ) END HelloWorld .

正常

エラー

出力入力

Primitive.cs

public class Parse { 　・・・８章を実装　・・・ }

105

９章パーサの構築（変数と関数）ステップ７

　入力　言語仕様（９．１～変数と関数に該当する部分）　 Primitive.cs （８章で作成したパーサ）

　出力　 Primitive.cs （変数と関数を識別できるパーサ）

106

９章　パーサの構築（変数と関数）9.1 変数と関数に関わる言語仕様関数の必要性

ここでいう関数は入出力の意味これが無いとプログラムの入出力が出来ない

変数の必要性変数はメモリの一部に名前をつけたもの変数の値を変化させることでプログラムは動く変数が無いと途中経過や計算結果を保持できない

107

９章　パーサの構築（変数と関数）9.1 変数と関数に関わる言語仕様

<program> 　 →　 MODULE IDENT ; <program1> BEGIN <statlist> END IDENT .<program1> → 　 ε → {BEGIN}

　 | <decllist> → {VAR}








<statement> → 　 IDENT <statement1><statement1> → 　 ( <literal>)

<literal> 　　 →　 IDENT | NUMBER | STR

108

９章　パーサの構築（変数と関数）9.2 入力用データサンプル

変数定義を□、関数呼び出しを□で示している

109

９章　パーサの構築（変数と関数）9.3 <program>




{

XMATCH("MODULE");XMATCH("IDENT");XMATCH("SEMICOLON");

Program1(); 　～８章のコメントを外す～XMATCH("BEGIN");Statlist();


｝

110

９章　パーサの構築（変数と関数）9.3 <program1>

文法分岐条件<program1>

→ ε {BEGIN}→ <decllist> {VAR}

変換コードpublic void Program1()

{

if (MATCH(“VAR”)) 　 {Decllist();}

}


111

９章　パーサの構築（変数と関数）9.3 <decllist>の変換

文法分岐条件<decllist>

→ VAR <decllist1>

変換コードpublic void Decllist()

{

XMATCH("VAR");Decllist1();

}

112

９章　パーサの構築（変数と関数）9.3 <decllist1>

文法分岐条件<decllist1>

→ <identlist> : <type> ; <decllist2>

変換コードpublic void Decllist1()

{

Identlist();XMATCH("COLON");Type();XMATCH("SEMICOLON");Decllist2();

}

113

９章　パーサの構築（変数と関数）9.3 <decllist2>


→ ε {BEGIN}

→ <decllist1> {IDENT}


{

if 　 (MATCH(“IDENT”)) 　 {Decllist1();}

}ε を含むため、 else は不要

114

９章　パーサの構築（変数と関数）9.3 <identlist>

文法分岐条件<identlist>

→ IDENT <identlist1>

変換コード public void Identlist()

{

XMATCH("IDENT");Identlist1();

}

115

９章　パーサの構築（変数と関数）9.3 <identlist1>

文法分岐条件<identlist1>

→ ε {:}→ , IDENT <identlist1> {,}

変換コード public void Identlist1()

{

if (MATCH(“COMMA”)) 　 {XMATCH("COMMA"); XMATCH("IDENT");Identlist1();}

}


116

９章　パーサの構築（変数と関数）9.3 <type>

文法分岐条件<type>

→ INTEGER→ STRING

変換コードpublic void Type()

{

if (MATCH(“INTEGER”)) 　 {XMATCH("INTEGER");}

else if (MATCH("STRING")) {XMATCH("STRING");}


117

９章　パーサの構築（変数と関数）9.3 < statement>


→ IDENT <statement1> ９章ではこの部分だけ実装する


{


else { エラー }

}

118

９章　パーサの構築（変数と関数）9.3 < statement1>


→ ( 　 <literal> 　 ) ９章ではこの部分だけ実装する



else { エラー｝ }

119

９章　パーサの構築（変数と関数）9.3 <literal>







else { エラー }

}

120

９章　パーサの構築（変数と関数）9.3 チェックポイント

これは「文法」エラー？変数の未定義、重複関数の引数、タイプエラー識別子、数値、文字列などに関連する不一致、実装課題（長さ）

結論から言うと・・・これは「文法エラー」ではない～理由は言語仕様に沿っているから

この対応策は１２章のシンボルテーブルで行う

121


　　～テストファイルをコピー～　 (test11-15.txt)

正常

エラー

出力入力

Primitive.cs

public class Parse { 　・・・９章を実装　・・・ }

９章　パーサの構築（変数と関数）9.3 チェックポイント

122

１０章パーサの構築（式と代入文）ステップ８

　入力　言語仕様（１０．１～式と代入文に該当する部分）　 Primitive.cs （９章で作成したパーサ）

　出力　 Primitive.cs （式と代入文を識別できるパーサ）

123

１０章パーサの構築（式と代入文）10.1 式と代入文に関わる言語仕様

代入文の必要性代入文は変数に値を格納する役割を担う代入文が無いと変数間の値の受け渡しが出来ない

式の必要性式は演算（値の変更）の役割を担う式が無いと値を変更できない

124

１０章パーサの構築（式と代入文）10.1 式と代入文に関わる言語仕様

～９章で提示したものは除いてあることに注意～

<statement> 　　　 →　 IDENT <statement1><statement1> 　　　→　 := <expression>

　　　　 | ( <literal>)

<expression> 　　　 →　 <expression1> <term> <expression2><expression1> 　　　→　 ε → {(, IDENT, NUMBER,STR)

　　　　 | <unary op> → {+, -}<expression2> 　　　→　 ε → {;, END, <>, <=, <, =, >, >=, THEN, DO, ), ELSE}

　　　　 | <add op> <expression3> <term> <expression2> → {+, -}<expression3> 　　　→　 ε → {(, IDENT, NUMBER, STR)

　　　　 | <unary op> → {+, -}

<term> 　　　 →　 <factor> <term1><term1> 　　　 →　 ε → {+, -, ;, END, <>, <=, <, =, >, >=, THEN, DO, ELSE}

　　　 | <mul op> <factor> <term1> → {*, /}<factor> 　　　 →　 <literal> → {IDENT, NUMBER, STR}

| ( <expression> ) → {(}

<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /

125

１０章パーサの構築（式と代入文）10.2 入力用データサンプル

式を□、代入文を□で示している

126

１０章パーサの構築（式と代入文）10.3 < statement>


→ IDENT <statement1> １０章ではこの部分だけ実装


{


else { エラー }

}

127

１０章パーサの構築（式と代入文）10.3 < statement1>


→ := <expression> ここは９章で既に実装済み→ ( 　 <literal> 　 )





128

１０章パーサの構築（式と代入文）10.3 <expression>

文法分岐条件<expression>

→ <expression1> <term> <expression2>

変換コードpublic void Expression()

{

Expression1();Term();Expression2();

}

129

１０章パーサの構築（式と代入文）10.3 <expression1>

文法分岐条件<expression1>

→　 ε {(, IDENT, NUMBER,STR}

→ <unary op> {+, -}

変換コード public void Expression1()

{

if (MATCH("PLUS") || MATCH("MINUS")) {UnaryOp();}

}


130



→ ε {;, END, <>, <=, <, =, >, >=, THEN, DO, ), ELSE}

→ <add op> <expression3> <term> <expression2> {+, -}

変換コードpublic void Expression2()

{

if (MATCH("PLUS") || MATCH("MINUS")) {ddOp();Expression3();Term();Expression2();}

}


131



→ ε {(, IDENT, NUMBER, STR)

→ <unary op> {+, -}


{


}


132

１０章パーサの構築（式と代入文）10.3 <term>

文法分岐条件<term>

→ <factor> <term1>

変換コードpublic void Term()

{

Factor();Term1();

}

133

１０章パーサの構築（式と代入文）10.3 <term1>

文法分岐条件<term1> → ε {+, -, ;, END,<>, <=, <, =, >, >=, THEN, DO, ELS

E} → <mul op> <factor> <term1> {*, /}

変換コードpublic void Term1()

{

if (MATCH("MULT") || MATCH("DIV")) {MultOp();Factor();Term1();}

}


134

１０章パーサの構築（式と代入文）10.3 <factor>

文法分岐条件<factor>

→ <literal> {IDENT, NUMBER, STR}→ ( <expression> ) {(}

変換コードpublic void Factor(){

if (MATCH("OPEN")) {XMATCH("OPEN");Expression();XMATCH("CLOSE");}

else {Literal(); }

}

135

１０章パーサの構築（式と代入文）10.3 <literal>







else { エラー }

}

136

１０章パーサの構築（式と代入文）10.3 <rel op>

文法分岐条件<rel op>

→ <> → <= → < → =→ >→ >=

変換コードpublic void RelOp () 　 {

if (MATCH("EQ")) {XMATCH("EQ");}else if (MATCH("NE")) {XMATCH("NE");}else if (MATCH("LT")) {XMATCH("LT");}else if (MATCH("LE")) {XMATCH("LE");}else if (MATCH("GT")) {XMATCH("GT");} else if (MATCH("GE")) {XMATCH("GE");} else { エラー }

}

137

１０章パーサの構築（式と代入文）10.3 <unary op>

文法分岐条件<unary op>

→ +→ -

変換コードpublic void UnaryOp()

{

if (MATCH("PLUS")) {XMATCH("PLUS");}

else if (MATCH("MINUS")) {XMATCH("MINUS");}

else { エラー }

}

138

１０章パーサの構築（式と代入文）10.3 <add op>

文法分岐条件<add op>

→ +→ -

変換コードpublic void AddOp()

{



else { エラー }

}

139

１０章パーサの構築（式と代入文）10.3 <mul op>

文法分岐条件<mul op>

→ *→ /

変換コードpublic void MultOp()

{

if (MATCH("MULT")) {XMATCH("MULT");}

else if (MATCH("DIV")) {XMATCH("DIV");}

else { エラー }

}

140



正常

エラー

出力入力

Primitive.cs

public class Parse { 　・・・１０章を実装　・・・ }

１０章パーサの構築（式と代入文）10.3 チェックポイント

141

１１章パーサの構築（選択文と繰り返し文）ステップ９

　入力　言語仕様（１１．１～選択文と繰り返し文に該当する部分）　 Primitive.cs （１０章で作成したパーサ）

　出力　 Primitive.cs （選択文と繰り返し文を識別できるパーサ）

142

１１章パーサの構築（選択文と繰り返し文）11.1 選択文の必要性

選択文は条件分岐を行う役割を担っているもし選択文が無いと、条件に応じた処理ができないそれでもプログラムではあるが、計算能力が劣る３章の Change.txt はプログラムだろうか？

繰り返し文の必要性繰り返し文は選択文＋ＧＯＴＯ文で実装できるもし無いと、全処理を明示的に記載する必要があるそれでもプログラムではあるが、計算能力が劣る１００までの素数を繰り返し文無しで書けるだろう

か？Ｎ（Ｎは入力した数）はどの様に処理したらいいだろう？

143

１１章パーサの構築（選択文と繰り返し文）11.1 選択文と繰り返し文の言語仕様

～９章／１０章で提示したものは除いてあることに注意～


<if1> → 　 ε → {END}| ELSE <statlist> → {ELSE}

<relation> → 　 <expression> <rel op> <expression>

<rel op> → 　 <> | <= | < | = | > |>=

144

選択文と□、繰り返し文を□で示している

１１章パーサの構築（選択文と繰り返し文）11.2 入力用データサンプル

145



146



147

１１章パーサの構築（選択文と繰り返し文）11.3 チェックポイント < statement>


→ IDENT <statement1> ９章で実装済み→ IF <relation> THEN <statlist> <ifl> END



{






else { エラー }

}

148

１１章パーサの構築（選択文と繰り返し文）11.3 　チェックポイント　 <if1>

文法分岐条件<if1>

→ ε {END}→ ELSE <statlist> {ELSE}

変換コードpublic void If1()

{

if (MATCH("ELSE")){XMATCH("ELSE");Statlist();}

}


149

１１章パーサの構築（選択文と繰り返し文）11.3 チェックポイント　 <relation>

文法分岐条件<relation>

→ <expression> <rel op> <expression>

変換コードpublic void Relation()

{

Expression();RelOp();Expression();

}

150

１１章パーサの構築（選択文と繰り返し文）11.3 チェックポイント　 <rel op>


→ <> → <= → < → =→ >→ >=



}

151



正常

エラー

出力入力

Primitive.cs

public class Parse { 　・・・１１章を実装　・・・ }

１１章パーサの構築（選択文と繰り返し文）11.3 チェックポイント

152

１２章　シンボルテーブルステップ１０

　入力　１２章で説明するシンボルテーブル　言語仕様（１２．１～シンボルテーブルと連動する部分）　 Primitive.cs （１１章で作成したパーサ）

　出力　 Primitive.cs （シンボルテーブル実装済みのパーサ）

153

１２章シンボルテーブル12.1 シンボルテーブルの位置づけ

該当する言語仕様

<statement> 　→　 IDENT <statement1><statement1>→ 　 ( <literal>)<literal> 　　→　 IDENT | NUMBER | STR

問題のあるプログラム

シンボルテーブルの必要性

言語仕様には合致↓

文法エラーではない

しかし現実的に問題↓

「タイプ」、「定義の有無」等の情報を付加する

154

１２章シンボルテーブル12.1 シンボルテーブルの位置づけ

シンボルテーブル

ＭＯＤＵＬＥ　ＴＥＳＴ；ＶＡＲ　　Ｉ　：　ＩＮＴＥＧＥＲ；ＢＥＧＩＮ　　Ｊ　：＝　ＩＥＮＤ　ＴＥＳＴ．

変数定義時にテーブル登録タイプ設定時にテーブル更新

参照時にテーブル情報を確認　（タイプ、有無など）

155

１２章シンボルテーブル12.2 シンボルテーブルの登録と参照


変数定義時にテーブル登録

Add.Symbol(TOKEN);

タイプ設定時にテーブル更新 SetSymbolTYpe(“INTEGER);

参照時にテーブル情報を確認　（タイプ、有無など）

シンボルの有無の確認 If (CheckSymbol(TOKEN)<0) {未登録｝ else {登録済み }

156



public class Symbol シンボルテーブルは全てこのクラスに定義{　　 private int x = 0;　　 private const int MAX = 128; テーブルのサイズ　 private int idx = -1; 登録シンボルの個数　 Token[] tbl = new Token[MAX]; テーブルを作成

　　 public Symbol() システム入出力関数を初期設定　 {　　　　 x=++idx; tbl[x]=new Token(); tbl[x].str="WriteStr"; tbl[x].def="PROC"; tbl[x].type="STRING";　　　　 x=++idx; tbl[x]=new Token(); tbl[x].str="WriteInt"; tbl[x].def="PROC"; tbl[x].type="INTEGER";　　　　 x=++idx; tbl[x]=new Token(); tbl[x].str="ReadStr"; tbl[x].def="PROC"; tbl[x].type="STRING";　　　　 x=++idx; tbl[x]=new Token(); tbl[x].str="ReadInt"; tbl[x].def="PROC"; tbl[x].type="INTEGER";　　 }　　・・・} 入出力

関数名識別名引数

タイプ

157


シンボルテーブルのメソッド

// Symbol Tablepublic class Symbol{

・・・public void PrintSymbol() 全シンボルテーブルを表示

public void AddSymbol(Token t) トークンの登録public void SetSymbolType(string type) タイプの登録public int CheckSymbol(Token t) トークン（＝変数）の有無を確認

public int GetIndex() シンボルテーブルの登録数public Token GetSymbol(int i) 指定されたシンボルを返却・・・

}

158

１２章シンボルテーブル12.3 パーサとの連動

言語仕様　（赤字は実装したパーサ部分に記載する操作）

<identlist> → 　変数の登録　 IDENT <identlist1><identlist1> → 　 ε

| , 変数の登録　 IDENT <identlist1><type> → 　タイプ（ＩＮＴＥＧＥＲ）の設定 INTEGER

| 　タイプ（ＳＴＲＩＮＧ）の設定　 STRING

<statement> → 　 IDENT <statement1><statement1> → 　 := <expression> 　変数（左辺）の確認

| ( <literal>)

<term> → 　 <factor> 変数（右辺）の確認 <term1><term1> → 　 ε

| <mul op> <factor> 変数（右辺）の確認 <term1>

<factor> → 　 <literal>| ( <expression> )

<literal> → 　 IDENT | NUMBER | STR

159


変数の登録

public void Identlist(){

symbol.AddSymbol(token);XMATCH("IDENT");Identlist1();

}

public void Identlist1(){

if (MATCH("COMMA"))　　　 {

　　　 XMATCH("COMMA");　　　symbol.AddSymbol(token);　　　 XMATCH("IDENT");　　　 Identlist1();}

}

タイプの設定

public void Type(){

if (MATCH("INTEGER"))　　　 {

　　　symbol.SetSymbolType("INTEGER");　　　 XMATCH("INTEGER");}else if (MATCH("STRING")){　　　symbol.SetSymbolType("STRING");　　　 XMATCH("STRING");}else{　　　エラー}

}

この状態のトークンを使う

160


変数（左辺）の確認

public void Statement(){　　　 if (MATCH("IDENT"))

{　　　 Token id = new Token();　　　 id.str = token.str;　　　 id.def = token.def;　　　 id.type = token.type;　　　 XMATCH("IDENT");　　　 Statement1(id);}・・・

}

public void Statement1(Token id){

if (MATCH("ASSIGN")){

　　　　　　 XMATCH("ASSIGN");　　　 Expression();　　　 if (symbol.CheckSymbol(id) < 0)　　　 {

　　　　　　　　　左辺（ id.str ）シンボルが未定義 ;stop();　　　 }}else if (MATCH("OPEN")){　　　 XMATCH("OPEN");　　　 Token parameter = new Token();　　　 Literal(parameter); 　～右辺のチェック～　　　 XMATCH("CLOSE");}・・・

}

161


変数（右辺）の確認

public void Term(){

Token parameter = new Token();Factor(parameter);if (parameter.def.Equals("IDENT") && symbol.CheckSymbol(parameter) < 0){　　　右辺（ parameter.str ）シンボルが未定義 ;stop();}Term1();

}

public void Term1(){

Token parameter = new Token();if (MATCH("MULT") || MATCH("DIV")){　　　 MultOp(); Factor(parameter);　　　 if (parameter.def.Equals("IDENT") && symbol.CheckSymbol(parameter) < 0)　　　 {

　　　　　　　　　右辺（ parameter.str ）が未定義 ;stop();　　　 }　　　 Term1();}

}

トークン格納用実際の設定は次ページ参照

トークン格納用実際の設定は次ページ参照

162

変数（右辺）の確認　（これらのメソッドはパラメータ設定のために使用される）

public void Factor(Token parameter){

if (MATCH("OPEN")) {　　　 XMATCH("OPEN"); Expression(); XMATCH("CLOSE");}else{　　　 Literal(parameter); }

}

public void Literal(Token parameter){

parameter.str = token.str;parameter.def = token.def;parameter.type = token.type;

if 　　　　 (MATCH("IDENT")) { XMATCH("IDENT"); }else if (MATCH("NUMBER")) { XMATCH("NUMBER"); }else if (MATCH("STR")) { XMATCH("STR"); }else { Console.WriteLine("Parse error - literal"); }

}


163

１２章シンボルテーブル12.4 チェックポイント

力試しをしてみよう

164

１３章　コードジェネレータステップ１１

　入力　　言語仕様（１３．１～HelloWorld に該当する部分）　 Primitive.cs （１２章で作成したパーサ）

　出力　 Primitive.cs （ HelloWorld を出力するコンパイラ）

165

１３章コードジェネレータ13.1 Primitive 言語とｱｾﾝﾌﾞﾗの対応

Primitive 言語

～HelloWorld!の各文字に同様の処理～

アセンブラ　（マクロアセンブラ）

Primitive.cs

コードジェネレータ

166

１３章コードジェネレータ13.1 Primitive 言語とｱｾﾝﾌﾞﾗの対応

現時点では固定的に出力している

io.sw.WriteLine(";ml out.asm /c /coff");io.sw.WriteLine(";link /Subsystem:console out.obj kernel32.lib

iolib.lib");io.sw.WriteLine("");io.sw.WriteLine(".586");io.sw.WriteLine(".model flat,stdcall");io.sw.WriteLine("");io.sw.WriteLine("INCLUDE iolib.inc");io.sw.WriteLine("");io.sw.WriteLine(".data");io.sw.WriteLine(" Msg db \"Hello World!\\n\",0");io.sw.WriteLine("");io.sw.WriteLine(".code");io.sw.WriteLine("");io.sw.WriteLine("_start:");io.sw.WriteLine(" invoke OutputString, NEAR32 PTR

Msg");io.sw.WriteLine(" invoke PauseProgram");io.sw.WriteLine(" invoke ExitProcess,0");io.sw.WriteLine("end _start");io.sw.WriteLine("");io.sw.WriteLine("END");

Primitive.cs （前章で作成）

コードジェネレータイメージ

既に「出来上がった」パーサに出力処理を「埋め込んで」いく

・・・・・・

・・・・・・

・・・・・・

・・・・・・

・・・・・・

167

１３章コードジェネレータ13.3 コードジェネレータ例

パーサに、①～⑥の出力処理を「追加」する重要：パーサの「ロジック部分は変更しない」～追加するだけ

～HelloWorld!の各文字に同様の処理～

データ部

コード部

プログラム部 ① プログラム部の開始時　

⑥ プログラム部の終了時

② データ部の開始時　

③ データ部の終了時

④ コード部の開始時

⑤ コード部の終了時

HelloWorld 部

168


一番小さいプログラムに必要な言語仕様

<program> 　　→　 MODULE IDENT ;

① の出力処理を追加

<program1>

② の出力処理を追加③の出力処理を追加

④の出力処理を追加BEGIN <statlist> END IDENT .

⑤の出力処理を追加

⑥の出力処理を追加

169


プログラム部分（①、⑥のコード生成）

170

１３章コードジェネレータ13.3 コードジェネレータ例データ部分（上から②、③のコード生成）コード部分（上から④、⑤のコード生成）

171


HelloWorld に必要な言語仕様

<statement> → 　 IDENT　　　①　関数名を次のメソッドへ送

る　　　 <statement1>

<statement1> → 　 (　　　②　格納用トークンを次のメ

ソッドへ送る　　　 <literal>　　　④　出力処理を行う

　　　 )<literal> → 　③　パラメータを設定する

　　　 STR

172

１３章コードジェネレータ13.3 コードジェネレータ例ＨｅｌｌｏＷｏｒｌｄの出力処理

１３章の場合は、パラメータに設定されているトークンは：id.str=WriteStrparameter.str=HelloWorld

173

１３章コードジェネレータ13.4 チェックポイント

174

１３章コードジェネレータ13.4 チェックポイント


～テストファイルをコピー～ (test41.txt)

出力入力

Primitive.cs

public class Parse { 　・・・１３章を実装　・・・ }

出力ファイル (out.asm)

～４章に沿って実行し　結果を確認～

Hello World!

175

１４章　コードジェネレータ（変数と関数）ステップ１２

　入力　　言語仕様（７．６から必要部分を選択したもの）　 Primitive.cs （１３章で作成したコンパイラ）

　出力　 Primitive.cs （変数と関数を生成するコンパイラ）

176

１４章　コードジェネレータ（変数と関数）14.1 入力データサンプル

変数定義を□、関数呼び出しを□で示している

３２ビットの整数型を定義

・ WriteStr は前章の HelloWorld と同様に実装する・その他は該当するシステム入出力を呼び出す

177

１４章　コードジェネレータ（変数と関数）14.2 出力データサンプル

変数・定数はプログラムの入力に応じたものに変更する□

・ invoke を用いて iolib.lib の入出力関数を呼び出す（１３．２、付録Ｉ参照）

178

１４章　コードジェネレータ（変数と関数）14.3 パーサとの連動

前章で作成したメソッドに対して、新しい処理を「追加」する

179

１４章　コードジェネレータ（変数と関数）14.4 コードジェネレータの実装データ定義：　シンボルテーブルの変数データを生成

180

１４章　コードジェネレータ（変数と関数）14.4 コードジェネレータの実装

関数定義：　関数呼び出しに新しい関数を追加

181

１４章　コードジェネレータ（変数と関数）14.5 チェックポイント


　～テストファイルをコピー～　(test41.txt)

出力入力

Primitive.cs

public class Parse { 　・・・１４章を実装　・・・ }

出力ファイル (out.asm) ～４章に沿って実行し

　結果を確認～

Hello World!

① 既存の下記メソッドを修正・ StrData メソッド・ GenerateFunctionCall メソッド② コンパイル後に実行し、出力アセンブラを確認③アセンブル、リンク後に実行し、画面表示を確認

182

１５章　コードジェネレータ（式と代入文）ステップ１３

　入力　　言語仕様（７．６から必要部分を選択したもの）　 Primitive.cs （１４章で作成したコンパイラ）

　出力　 Primitive.cs （式と代入文生成するコンパイラ）

183

１５章　コードジェネレータ（式と代入文）15.1 スタック

スタックとは・・・・データ構造・アクセス命令はプッシュ、ポッ

プ・一番上にしかアクセスできない・特徴は「 Last-In/First-Out」・プログラムで簡単に実装できる・お皿を重ねているイメージ

184

１５章　コードジェネレータ（式と代入文）15.1 スタック

実行すると　パースツリー　

スタックと計算は相性が良い

push(3)

push(1)

push(2)

push(pop()*pop())

push(pop()+pop()) スタックで計算

　プログラム→パーサ（言語仕様）→パースツリー　＋

スタック（プッシュとポップ）＝

式の計算ができる

　（演算子による実行順番が変換されている事に注意）　

185

１５章　コードジェネレータ（式と代入文）15.2 入力データサンプル

式を□、代入文を□で示している

186

変数・定数はプログラムの入力に応じたものに変更する□

・システムのスタックを使用（宣言は不要）

・加算：　 eax=eax+ebx・減算：　 eax=eax-ebx・除算：　 eax=eax*ebx・除算：　 eax=eax/ebx （商）、 edx= 剰余

１５章　コードジェネレータ（式と代入文）15.3 出力データサンプル

187


１５章　コードジェネレータ（式と代入文）15.4 パーサとの連動

188

代入文：　スタックをポップし、該当する変数に格納

１５章　コードジェネレータ（式と代入文）15.5 コードジェネレータの実装

変数・定数：　該当する変数・定数を受け取り、スタックにプッシュ

189

四則（加減乗除）演算：　スタックを２回ポップ、計算結果をプッシュ


190

パーサの変更：　代入文


191

パーサの変更：　定数・変数・式


192

１５章　コードジェネレータ（式と代入文）15.6 チェックポイント

　 Change.txt 　が実行できてから　次の章へ進もう！


～テストファイルをコピー～ (test51-53.txt)

出力入力

Primitive.cs

public class Parse { 　・・・１５章を実装　・・・ }



Hello World!

193

１６章　コードジェネレータ（選択文）ステップ１４

　入力　言語仕様（７．６から必要部分を選択したもの）　 Primitive.cs （１５章で作成したコンパイラ）

　出力　 Primitive.cs （選択文を生成するコンパイラ）

194

１６章　コードジェネレータ（選択文）16.1 構造化プログラムとブロック

ブロックとは・・・・コードをまとめたくくり・選択文のコード生成がし易い・ＩＦ、ＴＲＵＥ、ＦＡＬＳＥブロックがある・各ブロックには番号が付く→

選択文に関する構造をブロックを用いて、条件分岐とラベルを表現する

195

１６章　コードジェネレータ（選択文）16.2 入力データサンプルＩＦブロックを□、ＴＲＵＥ／ＦＡＬＳＥブロックを□で示している

196

１６章　コードジェネレータ（選択文）16.2 入力データサンプル

197

１６章　コードジェネレータ（選択文）16.3 出力データサンプル

198


１６章　コードジェネレータ（選択文）16.4 パーサとの連動

199

ブロック番号開始・終了：　ブロック番号の生成）

１６章　コードジェネレータ（選択文）16.5 コードジェネレータの実装

・この場合の深さは２階層になる・①～②はブロック番号

①

②

③

200

ブロック開始・終了：　ブロックレベルの生成


①

⑥

⑤

③

④

②

201

条件分岐：　（ＩＦ文の）比較演算子に合致した分岐命令を生成　


202

パーサの変更：　選択文


203

パーサの変更：　条件分岐


204

１６章　コードジェネレータ（選択文）16.6 チェックポイント



出力入力

Primitive.cs

public class Parse { 　・・・１６章を実装　・・・ }



Hello World!

205

１７章　コードジェネレータ（繰り返し文）ステップ１５

　入力　言語仕様（７．６から必要部分を選択したもの）　 Primitive.cs （１６章で作成したコンパイラ）

　出力　 Primitive.cs （繰り返し文を生成するコンパイラ）

206

１７章　コードジェネレータ（繰り返し文）17.1 繰り返しにおけるブロック

ブロックは前章と同様に扱う、但し・ＷＨＩＬＥの時、ＴＲＵＥブロックを使う・ＦＡＬＳＥブロックは使用しない・下記⑦を追加

①WHILE 条件式　もし真なら②に分岐　もし偽なら④へ分岐

⑥

②THEN の場合はここへ

⑦ここから①に分岐 ③は使用しない

④、⑤は使用しない

207

１７章　コードジェネレータ（繰り返し文）17.2 入力データサンプルＷＨＩＬＥブロックを□、ＴＲＵＥブロックを□で示している

208

１７章　コードジェネレータ（繰り返し文）17.3 出力データサンプル

209


１７章　コードジェネレータ（繰り返し文）17.4 パーサとの連動

210

ブロック開始分岐：　ＷＨＩＬＥブロックへの無条件分岐命令の生成

１７章　コードジェネレータ（繰り返し文）17.5 コードジェネレータの実装

⑦

①WHILE 条件式　　もし真なら②に分岐　もし偽なら④へ分岐

⑥

②THEN の場合はここへ

⑦ここから①に分岐 ③は使用しない

④、⑤は使用しない

211

パーサの変更：　繰り返し文

１７章　コードジェネレータ（繰り返し文）17.5 コードジェネレータの実装

212

１７章　コードジェネレータ（繰り返し文）17.6 チェックポイント

～最終テスト～Fibonacci.txt

Prime.txt

をコンパイルして、実行しよう

　思った結果が得られただろうか？　



出力入力

Primitive.cs

public class Parse { 　・・・１７章を実装　・・・ }



おめでとう !

213

参考資料

　パーサの構築　テストプログラム　言語仕様　付録ＣＤ内容について

214

参考資料　パーサの構築＜ program>




{

XMATCH("MODULE");XMATCH("IDENT");XMATCH("SEMICOLON");Program1();

XMATCH("BEGIN");Statlist();


｝

215

参考資料　パーサの構築＜ program1>

文法分岐条件<program1>

→ ε {BEGIN}→ <decllist> {VAR}

変換コードpublic void Program1()

{

if (MATCH(“VAR”)) 　 {Decllist();}

}


216

参考資料　パーサの構築<decllist>の変換

文法分岐条件<decllist>

→ VAR <decllist1>

変換コードpublic void Decllist()

{

XMATCH("VAR");Decllist1();

}

217

参考資料　パーサの構築<decllist1>


→ <identlist> : <type> ; <decllist2>


{

Identlist();XMATCH("COLON");Type();XMATCH("SEMICOLON");Decllist2();

}

218

参考資料　パーサの構築 <decllist2>


→ ε {BEGIN}

→ <decllist1> {IDENT}


{

if 　 (MATCH(“IDENT”)) 　 {Decllist1();}

}ε を含むため、 else は不要

219

参考資料　パーサの構築 <statlist>

文法分岐条件<statlist>

→ <statement> <statlist1>

変換コード public void Statlist()

{

Statement();Statlist1();

}

220

参考資料　パーサの構築 <statlist1>

文法分岐条件<statlist1>

→ ε {END, ELSE}→ ; <statement> 　 <statlist1> {;}

変換コードpublic void Statlist1()

{

if (MATCH(“SEMICOLON”)) 　 {XMATCH("SEMICOLON");Statement();Statlist1();}

}


221

参考資料　パーサの構築 <identlist>

文法分岐条件<identlist>

→ IDENT <identlist1>

変換コード public void Identlist()

{

XMATCH("IDENT");Identlist1();

}

222

参考資料　パーサの構築 <identlist1>

文法分岐条件<identlist1>

→ ε {:}→ , IDENT <identlist1> {,}

変換コード public void Identlist1()

{

if (MATCH(“COMMA”)) 　 {XMATCH("COMMA"); XMATCH("IDENT");Identlist1();}

}


223

参考資料　パーサの構築 <type>

文法分岐条件<type>

→ INTEGER→ STRING

変換コードpublic void Type()

{

if (MATCH(“INTEGER”)) 　 {XMATCH("INTEGER");}

else if (MATCH("STRING")) {XMATCH("STRING");}


224

参考資料　パーサの構築 < statement>


→ IDENT <statement1>

→ IF <relation> THEN <statlist> <ifl> END



{






else { エラー }

}

225

参考資料　パーサの構築 < statement1>


→ := <expression>

→ ( 　 <literal> 　 )





226

参考資料　パーサの構築 <if1>

文法分岐条件<if1>

→ ε {END}→ ELSE <statlist> {ELSE}

変換コードpublic void If1()

{

if (MATCH("ELSE")){XMATCH("ELSE");Statlist();}

}


227

参考資料　パーサの構築 <relation>

文法分岐条件<relation>

→ <expression> <rel op> <expression>

変換コードpublic void Relation()

{

Expression();RelOp();Expression();

}

228

参考資料　パーサの構築 <expression>

文法分岐条件<expression>

→ <expression1> <term> <expression2>

変換コードpublic void Expression()

{

Expression1();Term();Expression2();

}

229

参考資料　パーサの構築 <expression1>


→　 ε {(, IDENT, NUMBER,STR}

→ <unary op> {+, -}

変換コード public void Expression1()

{


}


230



→ ε {;, END, <>, <=, <, =, >, >=, THEN, DO, ), ELSE}

→ <add op> <expression3> <term> <expression2> {+, -}


{

if (MATCH("PLUS") || MATCH("MINUS")) {ddOp();Expression3();Term();Expression2();}

}


231



→ ε {(, IDENT, NUMBER, STR)

→ <unary op> {+, -}


{


}


232

参考資料　パーサの構築 <term>

文法分岐条件<term>

→ <factor> <term1>

変換コードpublic void Term()

{

Factor();Term1();

}

233

参考資料　パーサの構築 <term1>

文法分岐条件<term1> → ε {+, -, ;, END,<>, <=, <, =, >, >=, THEN, DO, ELS

E} → <mul op> <factor> <term1> {*, /}

変換コードpublic void Term1()

{

if (MATCH("MULT") || MATCH("DIV")) {MultOp();Factor();Term1();}

}


234

参考資料　パーサの構築 <factor>

文法分岐条件<factor>

→ <literal> {IDENT, NUMBER, STR}→ ( <expression> ) {(}

変換コードpublic void Factor(){

if (MATCH("OPEN")) {XMATCH("OPEN");Expression();XMATCH("CLOSE");}

else {Literal(); }

}

235

参考資料　パーサの構築 <literal>







else { エラー }

}

236

参考資料　パーサの構築 <rel op>


→ <> → <= → < → =→ >→ >=



}

237

参考資料　パーサの構築 <unary op>

文法分岐条件<unary op>

→ +→ -

変換コードpublic void UnaryOp()

{



else { エラー }

}

238

参考資料　パーサの構築 <add op>

文法分岐条件<add op>

→ +→ -

変換コードpublic void AddOp()

{



else { エラー }

}

239

参考資料　パーサの構築 <mul op>

文法分岐条件<mul op>

→ *→ /

変換コードpublic void MultOp()

{

if (MATCH("MULT")) {XMATCH("MULT");}

else if (MATCH("DIV")) {XMATCH("DIV");}

else { エラー }

}

240

参考資料　テストプログラムChange.txt

241

参考資料　テストプログラムFibonacci.txt

242

参考資料　テストプログラムPrime.txt

243

参考資料　言語仕様オリジナルの言語仕様<program> → 　 MODULE <ident> ; [ <decllist> ] BEGIN <statlist> END <ident> .<ident> → 　 <letter> ( <letter> | <digit> )*<decllist> → 　 VAR ( <identlist> : <type> ; )+<statlist> → 　 <statement> ( ; <statement> )*<identlist> → 　 <ident> ( , <ident> )*<type> → 　 INTEGER | STRING<statement> → 　 <ident> := <expression> | IF <relation> THEN <statlist> [ ELSE <statlist> ] END

| WHILE <relation> DO <statlist> END| <ident> "(" <literal> ")“

<relation> → 　 <expression> <rel op> <expression><expression> → 　 <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> → 　 <factor> ( <mul op> <factor> )*<factor> → 　 <literal> | "(" <expression> ")“<literal> → 　 <ident> | <integer> | <string><integer> → 　 <digit>+<rel op> → 　 = | < | <= | <> | > | >=<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /<digit> → 　 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9<string> → 　 " <any character except EOF, EOL and "> “<letter> → 　 a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p | q | r | s | t | u | v | w | x | y | z |

　　 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z

244

参考資料　言語仕様　スキャナー後の言語仕様<program> → 　 MODULE IDENT ; [ <decllist> ] BEGIN <statlist> END IDENT .<decllist> → 　 VAR ( <identlist> : <type> ; )+<statlist> → <statement> ( ; <statement> )*<identlist> → 　 IDENT ( , IDENT )*<type> → 　 INTEGER | STRING<statement> → 　 IDENT := <expression>

　 | IF <relation> THEN <statlist> [ ELSE <statlist> ] END　 | WHILE <relation> DO <statlist> END　 | IDENT "(" <literal> ")“

<relation> → 　 <expression> <rel op> <expression><expression> → 　 [ <unary op> ] <term> ( <add op> [ <unary op> ] <term> )*<term> → 　 <factor> ( <mul op> <factor> )*<factor> → 　 <literal> | "(" <expression> ")“<literal> → 　 IDENT | NUMBER | STR<rel op> → 　 = | < | <= | <> | > | >=<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /

245

参考資料　言語仕様文法変換後の言語仕様（１ / ２ )

<program> → 　 MODULE IDENT ; <program1> BEGIN <statlist> END IDENT .

<program1> → 　 ε → {BEGIN}| <decllist> → {VAR}









246

参考資料　言語仕様文法変換後の言語仕様（２ / ２ )<statement1> → 　 := <expression>

| ( <literal>)<if1> → 　 ε → {END}

| ELSE <statlist> → {ELSE}

<relation> → 　 <expression> <rel op> <expression><expression> → 　 <expression1> <term> <expression2><expression1> → 　 ε → {(, IDENT, NUMBER,STR)

| <unary op> → {+, -}<expression2> → 　 ε → {;, END, <>, <=, <, =, >, >=, THEN, DO, ), ELSE}

| <add op> <expression3> <term> <expression2> → {+, -}<expression3> → 　 ε → {(, IDENT, NUMBER, STR)

| <unary op> → {+, -}

<term> → 　 <factor> <term1><term1> → 　 ε → {+, -, ;, END, <>, <=, <, =, >, >=, THEN, DO, ELSE}

| <mul op> <factor> <term1> → {*, /}<factor> → 　 <literal> → {IDENT, N

UMBER, STR}| ( <expression> ) → {(}

<literal> → 　 IDENT | NUMBER | STR<rel op> → 　 <> | <= | < | = | > |>=<unary op> → 　 + | -<add op> → 　 + | -<mul op> → 　 * | /

247

参考資料　付録ＣＤ－ＲＯＭVisual Studio .NET 2003 / Visual Studio 2005 の統合開発環境を使う場合（インストール後）

248

参考資料　付録ＣＤ－ＲＯＭVisual C#/C++ 2005 Express Edition の統合開発環境を使う場合（インストール後）

249

参考資料　付録ＣＤ－ＲＯＭコマンドラインを用いた開発を行う場合（インストール後）

Documents

本資料は、下記の資料と共に使用されることを想定してます。本資料だけをお持ちの方は、下記資料を整えた上で読み進めて下さい。