Compiladores Análisis Léxico Oscar Bonilla obonilla@galileo.edu Universidad Galileo

CompiladoresAnálisis Léxico

Oscar Bonillaobonilla@galileo.eduUniversidad Galileo

Anatomía de un compilador

Analizador Sintáctico (Parser)

Generador de Código

Optimizador de Código

Analizador Semántico

Analizador Léxico (Scanner)

Parse Tree

Programa (character stream)

Token stream

Intermediate Representation

Optmized Intermediate Representation

Assembly code

Ayer vimos NDFA's

Podemos convertir fácilmente una expresión regular a unAutómaton Finito No Determinístico.

Los Autómata Finitos No Determinísticos son muy difícilesde Implementar ya que tienen que adivinar qué arista tomar.

Así que convertimos el Autómaton Finito No Determinísticoa un Autómaton Finito Determinístico.

Cerradura

La cerradura de un estado es el conjunto de estados que pueden alcanzarse desde ese estado sin consumir ningúnsímbolo de la entrada.

La cerradura de un estado S, Closure(S) es el conjunto T máspequeño tal que:

Algoritmo:

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {}T' = {}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1}T' = {}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1}T' = {1}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1,2}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1,2}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1,2}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

S = {1}T = {1,2}T' = {1,2}

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?S = {3}T = ??

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

Pregunta: Que es Closure(3) ?

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?S = {3}T = {2, 3, 4, 8}

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

Pregunta: Que es Closure(3) ?

Arista DFA

Supongamos que estamos en un conjunto de estados del NFA,si consumimos un símbolo de la entrada, ¿Qué otro conjunto de estados podemos alcanzar?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}

DFAedge({1}, 3) = ??

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}edge({1},3) = {}

DFAedge({1}, 3) = ??

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}closure({1}) = {1, 2}

DFAedge({1}, 3) = ??

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}edge({1}, 3} = {}

DFAedge({1}, 3) = {}

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}edge({2}, 3} = {3}

DFAedge({1}, 3) = {3}

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {1}closure({3}) = {2, 3, 4, 8}

DFAedge({1}, 3) = {2, 3, 4, 8}

Que es DFAedge({1},3)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {3}

DFAedge({1}, 3) = ??

Que es DFAedge({3},.)?

3

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 4 5 6 7 8

(-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)?

d = {3}

DFAedge({1}, 3) = {4, 5, 6, 8}

Que es DFAedge({3},.)?

Algoritmo

states[0] {}; states[1] closure({s1})p 1; j 0while j p

foreach c e DFAedge(states[ j ], c)if e = states[i] for some i pthen

trans[j,c] ielse

p p + 1states[p] etrans[j,c] p

j j + 1

Sea el alfabeto.

Implementación de DFA

El algoritmo anterior construye una matriz de transición quesirve para implementar el DFA.

int trans[][256] = { /* ... 0 1 2 ... - ... e f g h i j ... *//* estado 0 */ {0,0...0,0,0,... 0 ... 0,0,0,0,0,0 ... *//* estado 1 */ {0,0...7,7,7,... 9 ... 4,4,4,4,2,4 ... *//* estado 2 */ {0,0...4,4,4,... 0 ... 4,3,4,4,4,4 ... *//* estado 3 */ {0,0...4,4,4,... 0 ... 4,4,4,4,4,4 ... *//* estado 4 */ {0,0...4,4,4,... 0 ... 4,4,4,4,4,4 ... *//* estado 5 */ {0,0...6,6,6,... 0 ... 0,0,0,0,0,0 ... */et cetera}

Usamos el estado 0 para representar la ausencia de una arista

Algoritmostates[0] {}; states[1] closure({s1})p 1; j 0while j p

foreach c e DFAedge(states[ j ], c)if e = states[i] for some i pthen

trans[j,c] ielse

p p + 1states[p] etrans[j,c] p

j j + 1

Sea el alfabeto.

Cuándo j = 0 el algoritmo construye el estado 0

int trans[][256] = { /* ... 0 1 2 ... - ... e f g h i j ... *//* estado 0 */ {0,0...0,0,0,... 0 ... 0,0,0,0,0,0 ... *//* estado 1 */ {0,0...7,7,7,... 9 ... 4,4,4,4,2,4 ... *//* estado 2 */ {0,0...4,4,4,... 0 ... 4,3,4,4,4,4 ... *//* estado 3 */ {0,0...4,4,4,... 0 ... 4,4,4,4,4,4 ... *//* estado 4 */ {0,0...4,4,4,... 0 ... 4,4,4,4,4,4 ... *//* estado 5 */ {0,0...6,6,6,... 0 ... 0,0,0,0,0,0 ... */et cetera}

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

closure({1}) = {1, 2}

1,2

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({1,2}, -) = {2}

1,2

2

-

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

closure({2}) = {2}

1,2

2

-

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({1,2},0..9) = {3}

1,2

2

3

-

o,1,2,3,4,5,6,7,8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

closure({3}) = {2,3,4,8}

1,2

2

2,3,4,8

-

o,1,2,3,4,5,6,7,8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({2}, 0..9) = {3}closure({3}) = {2,3,4,8}

1,2

2

2,3,4,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({2,3,4,8}, 0..9) = {3}closure({3}) = {2,3,4,8}

1,2

2

2,3,4,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({2,3,4,8}, .) = {5}closure({5}) = {5,6,8}

1,2

2

2,3,4,8

5,6,8-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

.

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({5,6,8}, 0..9) = {7}closure({7}) = {6,7,8}

1,2

2

2,3,4,8

5,6,8

6,7,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

.

o,1,2,3,4,5,6,7,8,9

,3 7,

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

DFAedge({6,7,8}, 0..9) = {7}closure({7}) = {6,7,8}

1,2

2

2,3,4,8

5,6,8

6,7,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

.

o,1,2,3,4,5,6,7,8,9

,3 7,

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

1,2

2

2,3,4,8

5,6,8

6,7,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

.

o,1,2,3,4,5,6,7,8,9

El estado de aceptación es 8,así que marcamos los estadosque contienen a 8 como estadosaceptados.

,3 7,

o, 1

,5

8,9

(-| (0|1|2|3|4|5|6|7|8|9)+ (. (0|1|2|3|4|5|6|7|8|9)*)?

-

0

123

4

5

67

8

9

0

123

4

56

7

8

9

.

1 2 3 4 5 6 7 8

1,2

2

2,3,4,8

5,6,8

6,7,8

-

o,1,2,3,4,5,6,7,8,9

o,1,

2,3,

4,5,

6,7,

8,9

.

o,1,2,3,4,5,6,7,8,9

NFA

DFA

En la práctica

● Usamos herramientas automáticas para construir analizadores léxicos– Dado un conjunto de tokens definidos con

expresiones regulares, generamos un tokenizador del stream de caracteres mediante la construcción de un DFA

● Herramientas comunes para generar DFA's– lex en C– Jlex en Java

● Vamos a hablar acerca de lex