Теоретическая информатика · 2010-03-18 · • Формальныеязыки, грамматики и автоматы • Теория информации

ГУГУ ВысшаяВысшая школашкола экономикиэкономикиКафедраКафедра управленияуправления разработкойразработкой программногопрограммного обеспеченияобеспечения

ТеоретическаяинформатикаКурс для студентов ПИ, 1 курс

Ломазова Ирина Александровнад.ф.-м.н., профессор

Отделение ПИ Ломазова И.А. 2

Содержание курса

• Формальные языки, грамматики и автоматы

• Теория информации и кодирования

Часть 1:Формальные языки,

грамматики и автоматы


Основная литература

Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков ивычислений: Пер. с англ. - М.: Издательский дом "Вильямс", 2008.


• Алфавит языка:– Множество символов (букв)

• Язык – множество строк• Строка (слово) :

– Последовательность символовПримеры: “студент”, “123”, “house”, …

Формальный язык

{ }zcba ,,,, K=Σ


Алфавит и строки• Будем использовать алфавит из двух букв

• Строки (слова)

abbawbbbaaavabu

=

=

=

{ }ba,=Σ

baaabbbaabababaabbaaba


Операции над строками

• Конкатенация

• Обращение

abbawaaaw n

=

= L21

bbbaaavbbbv m

=

= L21

abbabbbaaawvbbbaaawv mn

=

= LL 2121

aaabbbvbbbv

Rm

R

=

= 12L


Длина строки• Длина:

• Примеры:

• Длина конкатенации строк

naaaw L21=nw =

12

4

=

=

=

aaaabba

vuuv +=


Пустая строка• Строка, не содержащая букв: λ

abbaabbaabba

www

==

==

=

λλ

λλ

λ 0


Подстрока• Строка: Подстроки:

abbab

bbabbabbaab

λ


Префикс и суффикс

• префиксы суффиксыabbab

abbababbaabbabaλ

λbabbabbbababbab

uvw =

префикс

суффикс


Итерация

• Пример:

• Для любого слова :

43421 Ln

n wwww =

( ) abbaabbaabba =2

w λ=0w

( ) λ=0abba


Операция *• - множество всех возможных слов валфавите

• Пример:

• Тогда язык в алфавите – любоеподмножество *Σ

*ΣΣ

{ }{ }K,,,,,,,,,*,

aabaaabbbaabaababaλ=Σ

=Σ

λ−Σ=Σ+ *{ }K,,,,,,,, aabaaabbbaabaaba=Σ+

Σ


Пример бесконечного языка

{ }0: ≥= nbaL nn

aaaaabbbbbaabbabλ

L∈ Labb ∉


Операции над языками• Обычные теоретико-множественныеоперации:

• Дополнение:

{ } { }{ } { }{ } { } { }aaaaaabbbaaaaaba

ababbbaaaaabaaaaabbabaabbbaaaaaba

,,,,}{,,,

},,,{,,,

=−

=

=

I

U

LL −Σ= *{ } { }K,,,,,,, aaabbabaabbaa λ=


Обращение, конкатенация

{ }2121 ,: LyLxxyLL ∈∈=

{ }LwwL RR ∈= :

{ } { }ababbaabababaaabab R ,,,, =

{ }{ }aabbaaba ,,,{ }baaabababaaabbaaaab ,,,,,=


Итерация

• Пример:

• Специальный случай:

321Ln

n LLLL =

{ } { }{ }{ }{ }bbbbbababbaaabbabaaabaaa

babababa,,,,,,,

,,,, 3 ==

{ } { }λ=0,, aaabbaa

{ }λ=0L


Еще пример

{ }0: ≥= nbaL nn

{ }0,:2 ≥= mnbabaL mmnn

2Laabbaaabbb ∈


Замыкание * (звезда Клини)

• Пример:

LUU 210* LLLL =

{ }

⎪⎪⎭

⎪⎪⎬

⎫

⎪⎪⎩

⎪⎪⎨

⎧

=

K,,,,,,,,

,,,

*,

abbbbabbaaabbaaabbbbbbaabbaa

bbabba

λ


Положительное замыкание

• Пример:

{ }λ−=

=+

*

21

L

LLL LUU

{ }⎪⎭

⎪⎬

⎫

⎪⎩

⎪⎨

⎧=+

K,,,,,,,,

,,,

abbbbabbaaabbaaabbbbbbaabbaa

bbabba

Формальные грамматики иязыки


Грамматики• Грамматики определяют языки: является ли данноепредложение правильным предложением данногоязыка

• Пример: русский язык<предложение> → <подлежащее> <сказуемое>

<дополнение><подлежащее> → <существительное><сказуемое> → <глагол><дополнение> → <наречие><существительное> → птица | студент<глагол> → летает | учится<наречие> → высоко | хорошо


Вывод предложенияПтица летает высоко

<предложение> ⇒<подлежащее> <сказуемое> <дополнение> ⇒<существительное> <сказуемое> <дополнение> ⇒<существительное> <глагол> <дополнение> ⇒<существительное> летает <дополнение> ⇒птица летает <дополнение> ⇒птица летает <наречие> ⇒птица летает высоко


Предложения, выводимые вэтой грамматике

• птица летает высоко• студент учится хорошо• птица летает хорошо• птица учится высоко• студент летает хорошо• …


Обозначения

Переменнаяили

Нетерминальныйсимвол

ТерминальныйсимволПравило

вывода

<глагол> → летает<глагол> → учится


Пример формальнойграмматики

• Грамматика:

• Вывод предложения :

λ→→

SaSbS

ab

abaSbS ⇒⇒

aSbS→ λ→S


• Вывод предложения :aabb

aabbaaSbbaSbS ⇒⇒⇒

aSbS→ λ→S


• Еще выводы:

• Язык этой грамматики:

aaabbbaaaSbbbaaSbbaSbS ⇒⇒⇒⇒

aaaabbbbaaaaSbbbbaaaSbbbaaSbbaSbS

⇒⇒⇒⇒⇒

{ }0: ≥= nbaL nn


Определение формальнойграмматики

( )PSTVG ,,,=

=V

=T

=S

=P

Мн-во нетерминальных символов

Мн-во терминальных символов

Начальный символ

Мн-во правил вывода (продукций)


Пример• Грамматика (рассмотренная ранее):

λ→→

SaSbS

G

( )PSTVG ,,,=}{SV =},{ baT =

},{ λ→→= SaSbSP


Вывод:

последовательное применение правилвывода.

Обозначение:

Читается: Слово aaabbb выводимо из S

aaabbbaaaSbbbaaSbbaSbS ⇒⇒⇒⇒

aaabbbS *⇒


В общем случае, пишем:

если

полагаем

nwwww ⇒⇒⇒⇒ L321

nww *1 ⇒

ww *⇒


Примеры

λ→→

SaSbSГрамматика:

aaabbbS *⇒

aabbS *⇒

abS *⇒S *⇒λ

baaaaaSbbbbaaSbb ∗⇒

aaSbbS ∗⇒


Еще один пример

• Грамматика G:

λ→→→

AaAbAAbS

Выводы:

aabbbaaAbbbaAbbS ⇒⇒⇒abbaAbbAbS ⇒⇒⇒

bAbS ⇒⇒


aaaabbbbbaaaaAbbbbbaaaAbbbbaaAbbbaAbbAbS

⇒⇒⇒⇒⇒⇒

λ→→→

AaAbAAbS

bbaS nn∗⇒

bbbaaaaaabbbbS ∗⇒

aaaabbbbbS ∗⇒


Язык, порождаемыйграмматикой

Определение. Для грамматики

с начальным символом

– язык, порождаемый этой грамматикой.

GS

}:{)( wSwGL ∗⇒=


ПримерДля грамматики G:

Поскольку:и никакие другие слова не выводимы

λ→→→

AaAbAAbS

bbaS nn∗⇒

}0:{)( ≥= nbbaGL nn


Удобное обозначение

•λ→

→A

aAbAλ|aAbA→

thearticleaarticle

→

→ theaarticle |→

Языки и автоматы


Вычисление

Процессор

Вход

Выход

Программа

Оперативная память


Абстрактная машина

Входн. память

Выходн. память

Программа (в памяти)

Автомат

Внутр. состояние


Процессор


Виды автоматов

В зависимости от оперативной памяти

• конечные автоматы

Нет оперативной памяти

• магазинные (стековые) автоматы

Стек

• машины Тьюринга

‘Неограниченная’ память


Конечный автомат

Слабые вычислительные возможности

Конечныйавтомат



Выходн. память


Конечный автомат - распознаватель

Распознает, принадлежит ли слово языку




Да или Нет


Автомат-распознавательВход

“Да”или

“Нет”

Строка


Выход


Граф переходов автомата

0q 1q 2q 3q 4qa b b aначальноесостояние финальное

состояние“Да”

состояниепереход

5qa a bb

ba,аbba - распознаватель

ba,


Начальная конфигурация

0q 1q 2q 3q 4qa b b a

5q

a a bb

ba,

Входная строкаa b b a

ba,


Читает вход


5qa a bb

ba,

a b b a

ba,



5qa a bb

ba,

a b b a

ba,



5qa a bb

ba,

a b b a

ba,


0q 1q 2q 3q 4qa b b aВыход: “Да”слово допускается автоматом

5qa a bb

ba,

a b b a

ba,


Другой вход


5qa a bb

ba,

a b a

ba,



5qa a bb

ba,

a b a

ba,



5qa a bb

ba,

a b a

ba,



5qa a bb

ba,Выход:“Нет”

a b a

ba,

Слово отвергается автоматом


Строгое определение ДКА• Детерминированный конечный автомат

(ДКА) ( )FqQM ,,,, 0δΣ=

QΣ

δ

0q

F

: множество состояний

: входной алфавит

: функция переходов

: начальное состояние

: множество заключительных состояний


Входной алфавит Σ


5qa a bb

ba,

{ }ba,=Σ

ba,


Множество состояний Q


5qa a bb

ba,

{ }543210 ,,,,, qqqqqqQ =

ba,


Начальное состояние 0q


5qa a bb

ba,

ba,


Множество заключительныхсостояний F


5qa a bb

ba,{ }4qF =

ba,


Функция переходов δ


5qa a bb

ba,

QQ →Σ×:δ

( )

( ) 50

10

,

,

qbq

qaq

=

=

δ

δ

ba,


Функция переходов δ


5qa a bb

ba,

ba,

δ a b0q1q2q3q4q5q

1q 5q5q 2q2q 3q4q 5q

5q5q5q5q

q5


Обобщенная функция переходов *δ

QQ →Σ× *:*δ( )

( )

( ) 50

40

20

,*

,*

,*

qabbaaq

qabbaq

qabq

=

=

=

δ

δ

δ


5qa a bb

ba,

ba,


Язык, распознаваемый ДКА

Пусть – ДКАОпределение:

Язык распознается автоматом , еслион состоит из всех строк, допускаемых этимавтоматом.

Другими словами:= { строки, которые переводят в

заключительное состояние}

M

( )ML M

M( )ML


Пример


5qa a bb

ba,

ba,

( ) { }abbaML =

M


Другой пример


5qa a bb

ba,

ba,

( ) { }abbaabML ,,λ=

M


Язык, распознаваемый ДКАДля ДКА

Язык, распознаваемый :

( )FqQM ,,,, 0δΣ=

M

( ) ( ){ }FwqwML ∈Σ∈= ,*:* 0δ

алфавитфункцияпереходов

начальноесостояние

заключ.состояния


Еще примеры

a

b ba,

ba,

0q 1q 2q

( ) { }0: ≥= nbaML n

допустить “ловушка”


( )ML = {все подстроки с префиксом }ab

допустить

a b

ba,

0q 1q 2q

ba,3q

ab


( )ML = { все строки, не содержащиеподстроку }001

λ 0 00 001

1

110

0 1,0

0


Регулярные языкиОпределение:

Язык – регулярный, если существует ДКАтакой, что

Все регулярные языки составляют классрегулярных языков

L M

( )MLL =


Пример:Язык регулярный:{ }{ }*,: bawawaL ∈=

a

b

ba,

a

b

ba

0q 2q 3q

4q

Documents

Теоретическая информатика · 2010-03-18 · • Формальныеязыки, грамматики и автоматы • Теория информации