Formalni jezici, automati i izracunljivost- Jezici i gramatike ......Teorema 3.3.1. Svaki kontekstno-nezavisan X+-jezik moˇze biti generisan ˇcistom gramatikom. Dokaz: Neka je G

Konteksno-nezavisni jeziciKonteksno-nezavisni jeziciKonteksno-nezavisni jezici

U cilju formalizacije gramatickih svojstava prirodnih jezika nastali su konteksno-

nezavisni jezici.

Konteksno-nezavisni jezici su se vrlo brzo pokazali veoma pogodnim za formalno

opisivanje sintakse programskih jezika, pa su nasli znacajne primene kod definisanja

programskih jezika, u sintaksnoj analizi jezika i konstrukciji kompajlera.

Siroka primena konteksno-nezavisnih jezika dovela je do razvoja teorije konteksno-

nezavisnih jezika kao jedne od najznacajnijih oblasti Teorije formalnih jezika.

Konteksno-nezavisni jezici se mogu definisati ne vise razlicitih, medusobno ekviva-

lentnih nacina:

➠ kao jezici koji se mogu generisati konteksno-nezavisnim gramatikama;

Sintaksi cki monoid – 33 – Automati – III deoSintaksi cki monoid – 33 – Automati – III deoSintaksi cki monoid – 33 – Automati – III deo


➠ kao komponenete najmanjeg resenja sistema polinomnih jednacina, sto su nezav-

isno jedni od drugih pokazali Chomsky i Schutzenberger [1963] i Ginsburg i Rice

[1962].

➠ potisnim automatima ciji je matematicki model uveden u radu Schutzenbergera

[1963], a ciju su ekvivalentnost sa konceptom generisanja jezika konteksno-

nezavisnom gramatikom u svojim radovima dokazali Chomsky [1962] i Evey

[1963].

Tokom ovog kursa pokazacemo da je moguce izvrsiti redukciju konteksno-nezavisne

gramatike do takozvane ciste gramatike i gramatike u Normalnoj formi Chomsky koje

prepoznaju isti jezik.

Potom cemo uvesti pojam potisnog automata, tj. automata sa potiskujucom mem-

orijom (stekom), pojmove raspoznavanja jezika skupom stanja potisnog automata i

raspoznavanja jezika praznim stekom i pokazacemo da su ova dva nacina raspozna-

vanja ekvivalentna.



Najpre ce biti reci o zatvorenosti klase kontekstno-nezavisnih jezika u odnosu na neke

operacije na jezicima.

Teorema 3.1.1. Neka je X konacan alfabet.

(a) ako su L1, L2 ⊆ X∗ kontekstno-nezavisni jezici, tada su takvi i jezici L1 ∪ L2 i

L1L2.

(b) ako je L ⊆ X∗ kontekstno-nezavisan jezik, tada je takav i jezik L(∗).

Dokaz: (a) Za i ∈ {1, 2}, neka je Li = L(Gi, σi), za neku kontekstno-nezavisnu

gramatiku Gi = (Vi, X, πi) i σi ∈ Vi \ X. Ne umanjujuci opstost dokaza mozemo

uzeti da je (V1 \ X) ∩ (V2 \ X) = ∅. Konstruisimo gramatike

GU = (VU , X, πU) i GP = (VP , X, πP )



tako da je

VU = VP = V1 ∪ V2 ∪ {σ}, gde σ /∈ V1 ∪ V2,

πU = π1 ∪ π2 ∪ {σ → σ1, σ → σ2},

πP = π1 ∪ π2 ∪ {σ → σ1σ2}.

Dokazuje se da je L1 ∪ L2 = L(GU , σ) i L1L2 = L(GP , σ).

(b) Uzmimo da je L = L(G, σ), za neku kontekstno-nezavisnu gramatiku G =

(V, X, π) i neki σ ∈ V \ X. Konstruisacemo gramatiku G′ = (V ′, X, π′) sa:

V ′ = V ∪ {σ′}, gde σ′ /∈ V, i π′ = π ∪ {σ′ → σσ′, σ′ → e},

za koju se jednostavno dokazuje da je L(∗) = L(G′, σ′).

Dokazali smo da je za proizvoljan konacan alfabet X, klasa kontekstno-nezavisnih

jezika u X∗ zatvorena za uniju, proizvod i zvezda operaciju. Medutim, ova klasa nije

zatvorena za presek i komplement.



Medutim, klasa konteksno-nezavisnih jezika je zatvorena za preseke sa raspoznatljivim

jezicima, sto dokazujemo sledecom teoremom:

Teorema 3.1.3. Neka je X konacan alfabet. Ako je L1 ⊆ X∗ raspoznatljiv, a

L2 ⊆ X∗ je kontekstno-nezavisan jezik, tada je i L1 ∩ L2 kontekstno-nezavisan

jezik.

Dokaz: Neka je A = (A, a0, X, δ) konacan automat koji raspoznaje L1 skupom

T ⊆ A. Kako je klasa kontekstno-nezavisnih jezika zatvorena za uniju, to bez

umanjenja opstosti dokaza mozemo uzeti da je skup T jednoelementan, tj. T = {t}.

Uzmimo da je L2 = L(G, σ), za neku kontekstno-nezavisnu gramatiku G = (V, X, π)

i σ ∈ V \A. Definisimo novu gramatiku G′ = (V ′, X, π′) na sledeci nacin: uzecemo

da je

V ′ = X ∪ (A × V × A),

a da se π′ sastoji od pravila sledecih oblika



(a) (a, α, b) → (a, α1, c1)(c1, α2, c2) · · · (cm−1, αm, b), za proizvoljno pravilo α →

α1α2 · · · αm iz π, gde su α1, α2, . . . , αm ∈ V , i proizvoljne a, c1, . . . , cm−1, b ∈

A;

(b) (a, u, b) → u, ako je au = b u automatu A.

Neposredno se proverava da je L1 ∩ L2 = L(G′, σ′), gde je σ′ = (a0, σ, t).

Na kraju cemo pokazati da su kontekstno-nezavisni jezici zatvoreni za homomorfizme

slobodnih monoida.

Teorema 3.1.4. Neka su X i Y konacni alfabeti i ϕ : X∗ → Y ∗ je homomorfizam.

Tada za svaki kontektstno-nezavisan jezik L ⊆ X∗, Lϕ je kontekstno-nezavisan jezik

u Y ∗.



Dokaz: Neka je L = L(G, σ), za neku kontekstno-nezavisnu gramatiku

G = (V, X, π) i σ ∈ V \ X. Jasno je da se ϕ moze prosiriti do homomorfizma

ψ : V ∗ → ((V \ X) ∪ Y )∗, stavivsi

αψ =

αϕ, ako je α ∈ X,

α, ako je α ∈ V \ X.

Dalje, neka je πψ = {αψ → uψ | α → u je pravilo iz π}. Jasno je da je

Gψ = (V ψ, Y, πψ) kontekstno-nezavisna gramatika, i neposredno se proverava

da je Lϕ = L(Gψ, σψ). Prema tome, Lϕ je kontekstno-nezavisan jezik.


Udaljavanje e-pravila i trivijalnih pravilaUdaljavanje e-pravila i trivijalnih pravilaUdaljavanje e-pravila i trivijalnih pravila

U ovom i narednom poglavlju cemo pokazati da za svaku kontekstno-nezavisnu gra-

matiku postoji kontekstno-nezavisna gramatika koja generise isti jezik, a cija su pravila

jednostavnija od pravila prve gramatike.

Krenucemo sa udaljavanjem takozvanih e-pravila i trivijalnih pravila iz kontekstno-ne-

zavisne gramatike.

Teorema 3.2.1. Postoji algoritam kojim se moze utvrditi da li jezik generisan konte-

kstno-nezavisnom gramatikom sadrzi praznu rec ili ne.

Dokaz: Neka je data kontekstno-nezavisna gramatika G = (V, X, π). Neka je

U ⊆ V skup definisan sa

U = {α ∈ V \ X | α∗

⇒e}.

Dokazacemo najpre da postoji algoritam za odredivanje skupa U .



Naime, definisacemo niz {Un}n∈N podskupova od V \ X sa

U1 = {α ∈ V \ X | (α, e) ∈ π},

Un+1 = Un ∪{α ∈ V \ X

∣∣ (∃u ∈ U∗

n) (α, u) ∈ π}, n ∈ N.

Jasno je da je {Un}n∈N rastuci niz podskupova od V \ X i lako se proverava da je

U =⋃

n∈N

Un.

Kako je V \ X konacan skup, to postoji n ∈ N takav da je Un = Un+1, i nije tesko

proveriti da je tada U = Un. Ovim je dokazano da postoji algoritam za odredivanje

skupa U .

Algoritam kojim se moze utvrditi da li jezik L(G, σ), za σ ∈ V \ X sadrzi praznu

rec zasnovan je na algoritmu za nalazenje skupa U , jer je e ∈ L(G, σ) ako i samo

ako je σ ∈ U .



Neka je G = (V, X, π) kontekstno-nezavisna gramatika. Pravila iz π oblika α → e,

gde je α ∈ V \ X i e je prazna rec, nazivacemo e-pravilima.

Teorema 3.2.2. Za proizvoljan kontekstno-nezavisan jezik L ⊆ X∗ postoji kontekstno-

nezavisna gramatika G = (V, X, π) bez e-pravila koja generise jezik L \ {e}.

Dokaz: Neka je L = L(G0, σ), gde je G0 = (V, X, π0) kontekstno-nezavisna

gramatika i σ ∈ V \ X. Uocimo skup

U = {α ∈ V \ X | α∗

⇒e u G0}.

Za rec w ∈ V ∗, oznacimo sa D(w, U) skup svih reci iz V ∗ koje su nastale iz reci w

brisanjem izvesnog broja slova iz skupa U , moguce i nijednog. Neka je G = (V, X, π)

gramatika sa skupom pravila π definisanim sa

π ={(α, u) ∈ (V \ X) × V +

∣∣ (∃w ∈ V ∗) (α, w) ∈ π0 & u ∈ D(w, U)}.



Drugim recima, za proizvoljno pravilo α → w iz π0, ako rec w sadrzi k javljanja

slova iz skupa U , onda to pravilo zamenjujemo sa 2k pravila oblika α → u, u ∈

D(w, U), u 6= e, u slucaju da je w /∈ U∗, odnosno sa 2k − 1 pravila tog oblika, u

slucaju da je w ∈ U∗. Jasno je da gramatika G ne sadrzi e-pravila.

Dokazuje se da je L(G, σ) = L \ {e}.

Posledica 3.2.1. Proizvoljan kontekstno-nezavisan X+-jezik moze biti generisan nekom

kontekstno-nezavisnom gramatikom bez e-pravila.

Neka je G = (V, X, π) kontekstno-nezavisna gramatika.

Pravila oblika α → β, gde su α, β ∈ V \ X, nazivamo trivijalnim pravilima. Jasno

je da se primenom ovakvih pravila vrsi samo preimenovanje pomocnih simbola, sto

opravdava naziv koji smo im dali.

Sledeca teorema pokazuje da se svaka kontekstno-nezavisna gramatika sa trivijalnim

pravilima moze zameniti kontekstno-nezavisnom gramatikom bez takvih pravila koja

generise isti jezik.



Teorema 3.2.3. Proizvoljan kontekstno-nezavisan jezik moze biti generisan nekom

kontekstno-nezavisnom gramatikom bez trivijalnih pravila.

Dokaz: Neka je L = L(G0, σ) jezik generisan kontekstno-nezavisnom gramatikom

G0 = (V, X, π0), za σ ∈ V \ X. Definisimo novu gramatiku G1 = (V, X, π1) na

sledeci nacin: Uzecemo da se skup pravila π1 sastoji iz svih pravila iz π0 i iz svih

parova (α, u) ∈ (V \ X) × V ∗ za koje postoji β ∈ V \ X takav da vaze sledeca dva

uslova:

(i) β → u je netrivijalno pravilo iz π0;

(ii) α i β su povezani nekim nizom

α → β ili α → α1 → · · · → αn → β, n ∈ N,

trivijalnih pravila iz π0.

Takode cemo uzeti da je G = (V, X, π) gramatika ciji skup pravila π cine sva

netrivijalna pravila iz π1. Dokazuje se da je L(G0, σ) = L(G, σ), pri cemu ce nam

gramatika G1 sluziti kao pomocna gramatika.


Gramatike u Normalnoj formi ChomskyGramatike u Normalnoj formi ChomskyGramatike u Normalnoj formi Chomsky

Da nastavimo sa redukcijama kontekstno-nezavisnih gramatika.

Uvescemo pojmove ciste gramatike i gramatike u Normalnoj formi Chomsky i dokazati

da se svaka kontekstno-nezavisna gramatika moze zameniti nekom cistom gramatikom,

odnosno gramatikom u Normalnoj formi Chomsky, koja generise isti jezik.

Kontekstno-nezavisnu gramatiku G = (V, X, π) nazivamo cistom gramatikom ako

je svako pravilo iz π ili oblika

α → β, gde je α ∈ V \ X, β ∈ (V \ X)+, |β| > 1,

ili oblika

α → x, gde je α ∈ V \ X, x ∈ X.

Uocimo da cista gramatika nema ni e-pravila, ni trivijalnih pravila.

Sada dokazujemo sledece:



Teorema 3.3.1. Svaki kontekstno-nezavisan X+-jezik moze biti generisan cistom

gramatikom.

Dokaz: Neka je G = (V, X, π) kontekstno-nezavisna gramatika koja generise jezik

L = L(G, σ), σ ∈ V \X. Ne umanjujuci opstost dokaza, mozemo uzeti da gramatika

G ne sadrzi e-pravila niti trivijalna pravila. Proizvoljnom slovu x ∈ X pridruzimo

simbol βx /∈ V i stavimo da je

V ′ = V ∪ {βx | x ∈ X}.

α → x, gde je α ∈ V \ X, x ∈ X,

ili su oblika

(1.6) α → u, gde je u ∈ V + \ V.



Pravila oblika (1.6) zameniti pravilom oblika

(1.7) α → u′,

pri cemu je u′ rec dobijena iz u zamenom svakog terminalnog simbola x koji se javlja

u u sa βx.

Oznacimo sa π′ novi skup pravila dobijen iz π zadrzavanjem svih pravila iz π prvog

oblika , zamenom svih pravila oblika (1.6) odgovarajucim pravilima oblika (1.7), i

dodavanjem novih pravila

(1.8) βx → x, za svaki x ∈ X.

Jasno je da je G′ = (V ′, X, π′) cista gramatika i dokazujemo da je

L(G, σ) = L(G′, σ).



Za kontekstno-nezavisnu gramatiku G = (V, X, π) kazemo da je u Normalnoj formi

Chomsky ako je svako pravilo iz π ili oblika

(1.9) α → βγ, gde su α, β, γ ∈ V \ X,

ili oblika

(1.10) α → x, gde je α ∈ V \ X, x ∈ X.

Teorema 3.3.2. Svaki kontekstno-nezavisan X+-jezik moze biti generisan gramatikom

u Normalnoj formi Chomsky.



Dokaz: Neka je L = L(G, σ) X+-jezik generisan kontekstno-nezavisnom gra-

matikom G = (V, X, π). Ne umanjujuci opstost dokaza mozemo uzeti da je G

cista gramatika. Prema tome, pravila iz π mogu biti ili oblika (1.9) ili oblika (1.10)

ili oblika

(1.11) α → α1α2 · · · αk, gde su α, α1, . . . , αk ∈ V \ X, k > 3.

Kako su pravila oblika (1.9) i (1.10) vec u Normalnoj formi Chomsky, to cemo se

zadrzati samo na pravilima oblika (1.11), i svako od takvih pravila cemo zameniti

nekim novim pravilima koja su u Normalnoj formi Chomsky. Naime, svakom pravilu

oblika (1.11) pridruzicemo skup

(1.12) {γ1, γ2, . . . , γk−2}

novih pomocnih simbola, tako da skupovi oblika (1.12) koji odgovaraju razlicitim

pravilima iz π oblika (1.11) budu medusobno disjunktni, i pravilo (1.11) cemo zameniti

nizom pravila



(1.13) α → α1γ1, γ1 → α2γ2, · · · , γk−3 → αk−2γk−2, γk−2 → αk−1αk.

Kada to ucinimo sa svim pravilima iz π oblika (1.11), dobicemo novi recnik V ′ i

novi skup pravila π′, odnosno dobicemo novu gramatiku G′ = (V ′, X, π′), koja je

ocigledno u Normalnoj formi Chomsky. Dokazujemo da je L = L(G, σ) = L(G′, σ).


Jelena

Text Box

Documents

Formalni jezici, automati i izracunljivost- Jezici i gramatike ......Teorema 3.3.1. Svaki kontekstno-nezavisan X+-jezik moˇze biti generisan ˇcistom gramatikom. Dokaz: Neka je G