Ulaş KAVUŞDUUlaş KAVUŞDUBilecik Üniversitesi Fen Bilimleri EnstitüsüBilecik Üniversitesi Fen Bilimleri Enstitüsü

Olasılık ve Rastsal Süreçler DersiOlasılık ve Rastsal Süreçler DersiMayıs 2009Mayıs 2009

■ ■ HMM, gözlenemeyen HMM, gözlenemeyen durumlu Markov Süreci olarak durumlu Markov Süreci olarak farzedilen sistemlerin farzedilen sistemlerin modellendiği bir istatiksel modellendiği bir istatiksel modeldir. HMM, en basit modeldir. HMM, en basit dinamik Bayes Ağı olarak dikkate dinamik Bayes Ağı olarak dikkate alınmalıdır.alınmalıdır.

HMM’nin olasılık parametreleri:HMM’nin olasılık parametreleri:xx — durumlar — durumlaryy — olası gözlemler — olası gözlemleraa — geçiş olasılıkları durumu — geçiş olasılıkları durumubb — çıkış olasılıkları — çıkış olasılıkları

■ ■ Normal Markov Model’inde, durumlar, gözlemci için görünebilirdir, ve bu Normal Markov Model’inde, durumlar, gözlemci için görünebilirdir, ve bu yüzden tek parametre, durum geçiş olasılıklarıdır. Gizli MArkov Modelinde, yüzden tek parametre, durum geçiş olasılıklarıdır. Gizli MArkov Modelinde, durum, direkt olarak görünebilir değildir, ama duruma bağlı çıkışlar durum, direkt olarak görünebilir değildir, ama duruma bağlı çıkışlar görünürdür. Her durumun, olası çıkış işaretleri üzerinde olasılık dağılımı vardır. görünürdür. Her durumun, olası çıkış işaretleri üzerinde olasılık dağılımı vardır. Bu yüzden, işaretler serisi, durumların sırası hakkında bize biraz bilgi veren Bu yüzden, işaretler serisi, durumların sırası hakkında bize biraz bilgi veren HMM tarafından üretilir.HMM tarafından üretilir.

■ ■ Not: “saklı” sıfatı, modelin geçtiği durum dizilerine karşılık gelir, modelin, Not: “saklı” sıfatı, modelin geçtiği durum dizilerine karşılık gelir, modelin, parametrelerine değil. Modelin parametreleri kesinlikle bilinse bile, model hala parametrelerine değil. Modelin parametreleri kesinlikle bilinse bile, model hala gizlidir.gizlidir.

■ ■ HMM, özellikle, ses, el yazısı, vücut hareketleri tanıma, gibi akıcı örnekleri HMM, özellikle, ses, el yazısı, vücut hareketleri tanıma, gibi akıcı örnekleri tanıma, müzik notasyonu izleme, kısmi yük boşalımı , biyoinformatik (biyolojik tanıma, müzik notasyonu izleme, kısmi yük boşalımı , biyoinformatik (biyolojik bilgi), gen tahmini ve kripto-analiz alanlarında kullanılır.bilgi), gen tahmini ve kripto-analiz alanlarında kullanılır.

■ ■ Aşağıdaki diyagram, bi anlık HMMnin genel mimarisini gösterir. Her bir oval Aşağıdaki diyagram, bi anlık HMMnin genel mimarisini gösterir. Her bir oval şekil, her hangi bir sayı değerini alabilen, rasgele değişkene karşılık gelir.şekil, her hangi bir sayı değerini alabilen, rasgele değişkene karşılık gelir.

■ ■ Rasgele değişken x(t), t anındaki gizli durumdur (yukarıdaki şekildeki Rasgele değişken x(t), t anındaki gizli durumdur (yukarıdaki şekildeki xx((tt) { ∈) { ∈ xx11, , xx22, , xx33 }). Rasgele değişken y(t) , t anındaki gözlemdir }). Rasgele değişken y(t) , t anındaki gözlemdir ((yy((tt) { ∈) { ∈ yy11, , yy22, , yy33, , yy44 }). Diyagramdaki oklar ise koşullu bağımlılıkları gösterir }). Diyagramdaki oklar ise koşullu bağımlılıkları gösterir (çoğu kez kafes diyagramı olarak adlandırılır).(çoğu kez kafes diyagramı olarak adlandırılır).

■ ■ Diyagrama göre, t anındaki gizli değişken x(t)’nin koşullu olasılık dağılımı, x(t-Diyagrama göre, t anındaki gizli değişken x(t)’nin koşullu olasılık dağılımı, x(t-1)’in değeri, sadece , x(t-1) değişkenine bağlıdır, t-2 ve önceki anların bir etkisi 1)’in değeri, sadece , x(t-1) değişkenine bağlıdır, t-2 ve önceki anların bir etkisi yoktur. Bu, Markov Özelliği olarak adlandırılır. Benzer olarak gözlenen y(t) yoktur. Bu, Markov Özelliği olarak adlandırılır. Benzer olarak gözlenen y(t) durumu da, sadece gizli değişken x(t)’nin değerine bağlıdır.durumu da, sadece gizli değişken x(t)’nin değerine bağlıdır.

■ ■ Bir dizinin gözlemlenme olasılığı;Bir dizinin gözlemlenme olasılığı;

■ ■ L uzunluğu bu ifade ile verilir;L uzunluğu bu ifade ile verilir;

■ ■ Tüm olası gizli-düğüm dizisindeki bütün Tüm olası gizli-düğüm dizisindeki bütün toplamlartoplamlar

■ ■ P(Y)’nin kaba hesabı, gizli düğüm dizleri sayısının çok fazla olması ve dizinin P(Y)’nin kaba hesabı, gizli düğüm dizleri sayısının çok fazla olması ve dizinin uzunluğu ile üssel olarak değişmesi ile, çoğu gerçek yaşam problemleri için kolay uzunluğu ile üssel olarak değişmesi ile, çoğu gerçek yaşam problemleri için kolay kontrol edilemez. Buna rağmen hesaplama, ileri algoritma veya eşdeğeri geri kontrol edilemez. Buna rağmen hesaplama, ileri algoritma veya eşdeğeri geri algoritma ile hızlandırılabilir.algoritma ile hızlandırılabilir.

S1 : S1 : Hava yağmurluHava yağmurluS2 : S2 : Hava bulutluHava bulutluS3 : S3 : Hava güneşliHava güneşli

8.01.01.0

2.06.02.0

3.03.04.0

}{ ijaA

YağmurluYağmurlu BulutluBulutlu GüneşliGüneşli

YağmurluYağmurlu

BulutluBulutlu

GüneşliGüneşli

■ ■ Her durum, fiziksel bir gözlemlenebilen olaya tekabül Her durum, fiziksel bir gözlemlenebilen olaya tekabül eder.eder.

■ ■ Bugün güneşli ise öBugün güneşli ise önümüzdeki 7 günün hava durumunun aşağıdaki nümüzdeki 7 günün hava durumunun aşağıdaki gibi olma olasılığı nedir?gibi olma olasılığı nedir?

“ “Güneşli, güneşli, yağmurlu, yağmurlu, güneşli, bulutlu, güneşliGüneşli, güneşli, yağmurlu, yağmurlu, güneşli, bulutlu, güneşli””

■ ■ Birbirlerinden uzakta yaşayan iki arkadaş Alice Ve Bob , her Birbirlerinden uzakta yaşayan iki arkadaş Alice Ve Bob , her gün telefonla o gün ne yaptıkları hakkında konuşurlar. Bob sadece gün telefonla o gün ne yaptıkları hakkında konuşurlar. Bob sadece 3 faaliyetle ilgilenir; parkta yürümek, alışveriş ve evini 3 faaliyetle ilgilenir; parkta yürümek, alışveriş ve evini temizlemek. Sadece o günkü hava durumuna göre yapılacak olan temizlemek. Sadece o günkü hava durumuna göre yapılacak olan iş belirlenmektedir. Alice, Bob’un yaşadığı yerdeki hava durumu iş belirlenmektedir. Alice, Bob’un yaşadığı yerdeki hava durumu hakkında kesin bir bilgiye sahip değildir, fakat genel yönelmeleri hakkında kesin bir bilgiye sahip değildir, fakat genel yönelmeleri bilmektedir. Bob’un her gün ne yaptığına dayanarak, Alice oradaki bilmektedir. Bob’un her gün ne yaptığına dayanarak, Alice oradaki hava durumunu tahmin etmeye çalışır.hava durumunu tahmin etmeye çalışır.

■ ■ Alice, havanın, ayrık Markov zinciri olarak işlediğine inanır. Alice, havanın, ayrık Markov zinciri olarak işlediğine inanır. “Yağmurlu” ve “Güneşli” olmak üzere 2 durum söz konusudur, ama “Yağmurlu” ve “Güneşli” olmak üzere 2 durum söz konusudur, ama bunları kesin olarak ileri süremez, Alice için bu durumlar gizlidir. bunları kesin olarak ileri süremez, Alice için bu durumlar gizlidir. Her bir gün, hava durumuna göre, Bob’un bu faaliyetleri yapacağı Her bir gün, hava durumuna göre, Bob’un bu faaliyetleri yapacağı kesindir: “yürümek”,”alışveriş” veya “temizlik”. Bob’un kendi kesindir: “yürümek”,”alışveriş” veya “temizlik”. Bob’un kendi faaliyetlerini Alice’e anlattığından beri, bunlar gözlemdir. Tüm faaliyetlerini Alice’e anlattığından beri, bunlar gözlemdir. Tüm sistem ise bir Saklı MArkov Modelidir.sistem ise bir Saklı MArkov Modelidir.

■ ■ Alice, bölgedeki genel hava durumu yönelimini ve Bob’un Alice, bölgedeki genel hava durumu yönelimini ve Bob’un ortalamada ne yapmak istediğini biliyor. Diğer bir deyişle, ortalamada ne yapmak istediğini biliyor. Diğer bir deyişle, HMM’nin parametreleri biliniyor. Parametreler aşağıdaki gibi HMM’nin parametreleri biliniyor. Parametreler aşağıdaki gibi Python programlama dilinde yazılabilir:Python programlama dilinde yazılabilir:states = ('Rainy', 'Sunny')states = ('Rainy', 'Sunny') observations = ('walk', 'shop', 'clean')observations = ('walk', 'shop', 'clean') start_probability = {'Rainy': 0.6, 'Sunny': 0.4}start_probability = {'Rainy': 0.6, 'Sunny': 0.4} transition_probability = {transition_probability = { 'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3}, 'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6}, }} emission_probability = {emission_probability = { 'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5}, 'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1}, }}

■ ■ Bu kodda, “start_probability”, Bob’un ilk aradığında, Alice’in Bu kodda, “start_probability”, Bob’un ilk aradığında, Alice’in inandığı HMM durumunu gösterir (Alice’in tek bildiği o gününün, inandığı HMM durumunu gösterir (Alice’in tek bildiği o gününün, ortalamada, yağmurlu olma eğiliminde olduğuydu). Burada ortalamada, yağmurlu olma eğiliminde olduğuydu). Burada kullanılan Kısmi olasılık dağılımı, gerçekte yaklaşık olan {'Rainy': kullanılan Kısmi olasılık dağılımı, gerçekte yaklaşık olan {'Rainy': 0.571, 'Sunny': 0.429} değerlerle, dengeli dağılım değildir. 0.571, 'Sunny': 0.429} değerlerle, dengeli dağılım değildir. “transition_probability”, Markov Zinciri’nin altında yatan hava “transition_probability”, Markov Zinciri’nin altında yatan hava durumu değişimidir. Bu örnekte, bugün yağmurlu (rainy) ise, durumu değişimidir. Bu örnekte, bugün yağmurlu (rainy) ise, yarının güneşli (sunny) olma olasılığı sadece %30’dur. yarının güneşli (sunny) olma olasılığı sadece %30’dur. “emission_probability”, Bob’un her bir gün, hava durumuna göre “emission_probability”, Bob’un her bir gün, hava durumuna göre hangi faaliyeti gerçekleştirmek istediğini gösterir. O gün yağmurlu hangi faaliyeti gerçekleştirmek istediğini gösterir. O gün yağmurlu (rainy) ise, evini temizleme olasılığı %50; güneşli (sunny) ise (rainy) ise, evini temizleme olasılığı %50; güneşli (sunny) ise dışarıda gezme olasılığı %60’tır.dışarıda gezme olasılığı %60’tır.

■ ■ Bir markov modeli, sistemin, sonlu, t1,t2,… Bir markov modeli, sistemin, sonlu, t1,t2,… anlarında, X1,X2,X3,…,Xn durumlarında varolduğunu anlarında, X1,X2,X3,…,Xn durumlarında varolduğunu varsayar, ve bir durumun olasılığı, sadece en son varsayar, ve bir durumun olasılığı, sadece en son geçmişten çıkarılırgeçmişten çıkarılır

■ ■ Daha belirgin olarak, 1. Dereceden markov modeli, bu Daha belirgin olarak, 1. Dereceden markov modeli, bu olasılıkları, önceki durumlara dayanarak yorumlar , böylece bir A olasılıkları, önceki durumlara dayanarak yorumlar , böylece bir A matrisi bulunur.matrisi bulunur.

■ ■ 0 <= a_ij <= 10 <= a_ij <= 1 ■ ■ Önemli bir nokta, bu parametreler zamandan bağımsızdır, a_ij Önemli bir nokta, bu parametreler zamandan bağımsızdır, a_ij

zamanla değişmez.zamanla değişmez. ■ ■ İkinci derece model, önceki iki duruma göre değişerek daha İkinci derece model, önceki iki duruma göre değişerek daha

benzer yaklaşımda bulunur, ve bu fikir, k modellerini k=3,4.. gibi benzer yaklaşımda bulunur, ve bu fikir, k modellerini k=3,4.. gibi sıralamak için açıkça geneller.sıralamak için açıkça geneller.

■ ■ Basit bir örnekle, hava durumu tahminini modellersek; verilen günde, Basit bir örnekle, hava durumu tahminini modellersek; verilen günde, hava güneşli(1), bulutlu(2) ve yağmurlu(3) olsun ve o günkü hava hava güneşli(1), bulutlu(2) ve yağmurlu(3) olsun ve o günkü hava durumu sadece bir önceki güne bağımlı olsun.durumu sadece bir önceki güne bağımlı olsun.

■ ■ Bir A matrisi türetebiliriz. Bir A matrisi türetebiliriz.

■ ■ Böylece, güneşli bir günden sonra yağmurlu bir gün olma Böylece, güneşli bir günden sonra yağmurlu bir gün olma olasılığı 0.125 olur, yağmurlu bir günden sonra bulutlu olma olasılığı 0.125 olur, yağmurlu bir günden sonra bulutlu olma olasılığı da 0.375’tir ve böyle gider.olasılığı da 0.375’tir ve böyle gider.

■ ■ Bir çok pratik uygulamada, durumlar direkt olarak Bir çok pratik uygulamada, durumlar direkt olarak gözlemlenemez, bunun yerine, sistemin kesin durumlarını tahmin gözlemlenemez, bunun yerine, sistemin kesin durumlarını tahmin ettiğimiz,farklı bir durumlar kümesi (Y_1,…,Y_m, (n<=m)) ettiğimiz,farklı bir durumlar kümesi (Y_1,…,Y_m, (n<=m)) gözlemleriz.gözlemleriz.

■ ■ nxm matrisi B, zamandan bağımsız; gözlem olasılıkları, anlık durum nxm matrisi B, zamandan bağımsız; gözlem olasılıkları, anlık durum hariç, hiçbişeye bağımlı değildir, özellikle, durumun nasıl veya ne hariç, hiçbişeye bağımlı değildir, özellikle, durumun nasıl veya ne zaman elde edildiğine bağlı değildir.zaman elde edildiğine bağlı değildir.

m

k

jkb1

10 jkb

■ ■ Hava durumu örneğini genişletelim,Hava durumu örneğini genişletelim, ■ ■ Bir parça deniz yosununun nemi, hava durumunun Bir parça deniz yosununun nemi, hava durumunun göstergesidir.göstergesidir. ■ ■ 4 durum varsayarsak, kuru(1), rutubetli(2),nemli(3) ya da 4 durum varsayarsak, kuru(1), rutubetli(2),nemli(3) ya da ıslak(4), ve güncel hava durumu, olasılıksal olarak deniz ıslak(4), ve güncel hava durumu, olasılıksal olarak deniz yosunu durumuna bağlıysa, şöyle bir matris elde ederiz,yosunu durumuna bağlıysa, şöyle bir matris elde ederiz,

■ ■ Böylece, hava güneşli iken, kuru deniz yosunu gözleme olasılığı 0.6, Böylece, hava güneşli iken, kuru deniz yosunu gözleme olasılığı 0.6, hava bulutlu iken, nemli deniz yosunu gözleme olasılığı 0.25 olur ve hava bulutlu iken, nemli deniz yosunu gözleme olasılığı 0.25 olur ve böyle gider.böyle gider.

■ ■ Birinci derecen Saklı MArkov Model λ =(π,A,B), A ve B matrisleri Birinci derecen Saklı MArkov Model λ =(π,A,B), A ve B matrisleri ile beraber n-boyutlu π ile, t=1 anındaki durumun olasılığı ile beraber n-boyutlu π ile, t=1 anındaki durumun olasılığı tanımlanır.tanımlanır.

■ ■ Zamandan bağımsız kısıtlamalar tamamen kesin ve bir çok Zamandan bağımsız kısıtlamalar tamamen kesin ve bir çok durumda gerçekçi değildir fakat HMM’lerin belirgin pratik durumda gerçekçi değildir fakat HMM’lerin belirgin pratik uygulamaları vardır.uygulamaları vardır.

■ ■ Özellikle, ses tanımada çok başarılıdır, mesela A matrisi, bir Özellikle, ses tanımada çok başarılıdır, mesela A matrisi, bir fonemin arkasından gelen fonemin gelme olasılığını, ve B matrisi fonemin arkasından gelen fonemin gelme olasılığını, ve B matrisi de konuşulan fonemin öznitelik ölçümünü gösteren matristir. Aynı de konuşulan fonemin öznitelik ölçümünü gösteren matristir. Aynı fikir, optik karakter tanıma uygulamasında da kullanılır. fikir, optik karakter tanıma uygulamasında da kullanılır.

■ ■ Markov İşlevi:Markov İşlevi:Şekilde görüldüğü gibi, basit bir Şekilde görüldüğü gibi, basit bir stok market modelini tanımlar. stok market modelini tanımlar. modelin 3 durumu vardır, "Bull, modelin 3 durumu vardır, "Bull, Bear ve Even", ve 3 gözlem Bear ve Even", ve 3 gözlem "up,down ve unchanged" vardır. "up,down ve unchanged" vardır. modelin, sınırlı durumları modelin, sınırlı durumları arasında olasılık geçişleri vardır. arasında olasılık geçişleri vardır. Verilen bir gözlemler dizisinden, Verilen bir gözlemler dizisinden, örneğin: "up-down-down", bu örneğin: "up-down-down", bu gözlem sonucunu veren gözlem sonucunu veren durumlar dizisinin kolaylıkla durumlar dizisinin kolaylıkla "bull-bear-bear" olduğunu "bull-bear-bear" olduğunu doğrularız, ve bu durum doğrularız, ve bu durum dizisisinin olasılığı, geçişlerle dizisisinin olasılığı, geçişlerle hesaplanırsa, 0.2 x 0.3 x 0.3 olur.hesaplanırsa, 0.2 x 0.3 x 0.3 olur.

■ ■ Saklı Markov ModeliSaklı Markov ModeliŞekil 2, önceki örneğin nasıl SMM’ne genişletilebildiğini gösterir. Yeni modelde, Şekil 2, önceki örneğin nasıl SMM’ne genişletilebildiğini gösterir. Yeni modelde, bütün gözlem sembolleri, her bir durumdan sınırlı olasılıkla türetilmesini bütün gözlem sembolleri, her bir durumdan sınırlı olasılıkla türetilmesini sağlamıştır. sağlamıştır.

■ ■ Bu , modeli, daha anlamlı yapar ve sezgimizin daha iyi göstermemizi sağlar, Bu , modeli, daha anlamlı yapar ve sezgimizin daha iyi göstermemizi sağlar, bu durumda, bull market, hem iyi hem de kötü günleri olacaktır, ama daha çok bu durumda, bull market, hem iyi hem de kötü günleri olacaktır, ama daha çok iyi günleri olacaktır. farklı olarak, elimizde up-down-down gözlem dizisi varken, iyi günleri olacaktır. farklı olarak, elimizde up-down-down gözlem dizisi varken, tam olarak, bu sonucu çıkaran durum dizisini söyleyemeyiz, aynı zamanda bu tam olarak, bu sonucu çıkaran durum dizisini söyleyemeyiz, aynı zamanda bu sonucu çıkartabilecek en yakın olasılıklı durum dizisinin ne olduğunu da sonucu çıkartabilecek en yakın olasılıklı durum dizisinin ne olduğunu da bilemiyoruz. Sonraki 3 bölümde, HMM'yi gerçekleştirmek için ortak bilemiyoruz. Sonraki 3 bölümde, HMM'yi gerçekleştirmek için ortak hesaplamalar anlatılacaktır.hesaplamalar anlatılacaktır.

■ ■ HMM'nin biçimsel gösterimi budur: HMM'nin biçimsel gösterimi budur:

■ ■ S, durum alfabe kümemiz ve V gözlem alfabe kümemizdir:S, durum alfabe kümemiz ve V gözlem alfabe kümemizdir:

■ ■ T uzunluğunda Q sabit durum dizisi tanımlarız, karşılıklı olarak O gözlemler T uzunluğunda Q sabit durum dizisi tanımlarız, karşılıklı olarak O gözlemler kümesi:kümesi:

■ ■ A, i'yi takip eden j durumunun olasılığını saklayan geçiş dizisidir. durum A, i'yi takip eden j durumunun olasılığını saklayan geçiş dizisidir. durum geçiş olasılıklarının zamandan bağımsız olduğunu unutmayalım.geçiş olasılıklarının zamandan bağımsız olduğunu unutmayalım.

■ ■ B, t'den bağımsız, j durumundan üretilen k gözleminin olasılığını B, t'den bağımsız, j durumundan üretilen k gözleminin olasılığını saklayan, gözlem dizisidir:saklayan, gözlem dizisidir:

■ ■ Pi başlangıç olasılık dizisidir.Pi başlangıç olasılık dizisidir.

■ ■ Model tarafından iki yaklaşım gerçeklenir. Birincisi, Markov yaklaşımı, Model tarafından iki yaklaşım gerçeklenir. Birincisi, Markov yaklaşımı, mevcut durum sadece bir önceki duruma bağlıdır, bu modelin hafızalı mevcut durum sadece bir önceki duruma bağlıdır, bu modelin hafızalı olduğunu gösterir.olduğunu gösterir.

■ ■ t anındaki çıkış gözlemi olan bağımsız yaklaşım durumları, sadece t anındaki çıkış gözlemi olan bağımsız yaklaşım durumları, sadece mevcut duruma bağımlıdır, önceki gözlem ve durumlardan bağımsızdır.mevcut duruma bağımlıdır, önceki gözlem ve durumlardan bağımsızdır.

■ ■ SMM’nin kafes şeklindeki modellemesi.SMM’nin kafes şeklindeki modellemesi.

■ ■ N = Saklı durumların sayısıN = Saklı durumların sayısı ■ ■ Q = Durumlar kümesi Q={ 1,2,….,N}Q = Durumlar kümesi Q={ 1,2,….,N} ■ ■ M = Sembol sayısıM = Sembol sayısı ■ ■ V = Sembol kümesi V={1,2,….,M}V = Sembol kümesi V={1,2,….,M} ■ ■ A = Durum-geçiş olasılıkları matrisiA = Durum-geçiş olasılıkları matrisi

■ ■ B = Gözlem olasılıkları dağılımıB = Gözlem olasılıkları dağılımı

■ ■ ππ = Başlangıç durum dağılımı = Başlangıç durum dağılımı

■ ■ λ λ = Tüm model= Tüm model

1) Değerlendirme (Evaluation): 1) Değerlendirme (Evaluation): ■ ■ Bir model ve bir gözlemler dizisi verilsin, modelin, gerçekten o Bir model ve bir gözlemler dizisi verilsin, modelin, gerçekten o

gözlemleri yarattığının olasılığı nedir?gözlemleri yarattığının olasılığı nedir?

■ ■ Eğer 2 ayrı model mevcutsa, λEğer 2 ayrı model mevcutsa, λ11 =(π =(π11,A,A11,B,B11) ve λ) ve λ22 =(π =(π22,A,A22,B,B22) , bu ) , bu soru, hangi modelin verilen bazı gözlemleri daha iyi tanımladığına soru, hangi modelin verilen bazı gözlemleri daha iyi tanımladığına işaret eder.işaret eder.

■ ■ Örneğin, 2 modelimiz varsa, bilinen bir hava durumu dizisi ve Örneğin, 2 modelimiz varsa, bilinen bir hava durumu dizisi ve biline bir deniz yosunu gözlem dizisi, hangi model, verimiz yani biline bir deniz yosunu gözlem dizisi, hangi model, verimiz yani çıkış için en iyi bilgiyi verir?çıkış için en iyi bilgiyi verir?

2) Çözme (Decoding): 2) Çözme (Decoding): ■ ■ λ =(π,A,B) modeli ve gözlemler dizisi verilsin, en büyük λ =(π,A,B) modeli ve gözlemler dizisi verilsin, en büyük

olasılıklı temel durum dizisi nedir?olasılıklı temel durum dizisi nedir?

■ ■ Örnek analizi için en ilgi çekici soru; optimal bir tahmine izin Örnek analizi için en ilgi çekici soru; optimal bir tahmine izin verdiği sürece, özellik ölçümleri dizisinin temeinde neler verdiği sürece, özellik ölçümleri dizisinin temeinde neler olduğudur.olduğudur.

■ ■ Örneğin: bir modelimiz ve denizyosunu gözlemlerinden bir Örneğin: bir modelimiz ve denizyosunu gözlemlerinden bir dizimiz varsa, en büyük olasılık temel hava durumu dizisi ne dizimiz varsa, en büyük olasılık temel hava durumu dizisi ne olabilir?olabilir?

3) Öğrenme (Learning): 3) Öğrenme (Learning): ■ ■ Verilen X1,X2,X3,….,Xn bilgi kümesi ve gözlemler dizisi ile, Verilen X1,X2,X3,….,Xn bilgi kümesi ve gözlemler dizisi ile,

sistemin kesin HMM olması için en iyi parametreler nedir?sistemin kesin HMM olması için en iyi parametreler nedir?

■ ■ Örneğin, bilinen bir hava durumu dizisi ve denizyosunu gözlem Örneğin, bilinen bir hava durumu dizisi ve denizyosunu gözlem dizisi verilsin , bunları en iyi hangi model parametreler tanımlar?dizisi verilsin , bunları en iyi hangi model parametreler tanımlar?

Verilen bir HMM ve gözlemler dizisinde, verilen modeldeki Verilen bir HMM ve gözlemler dizisinde, verilen modeldeki gözlemler dizisinin olasılığı olan P(O| λ) ‘yı hesaplayalım.gözlemler dizisinin olasılığı olan P(O| λ) ‘yı hesaplayalım.

Durum Dizisi : Durum Dizisi : Q = (qQ = (q11,…q,…qTT))

Belirli bir durum dizisi Q ve O gözlemlerinin olasılığı:Belirli bir durum dizisi Q ve O gözlemlerinin olasılığı:

Durum dizisi olasılığı: Durum dizisi olasılığı:

Bu eşitliklerden faydalanarak:Bu eşitliklerden faydalanarak:

)()|(),( yPyxPyxP )|(),|()|,( zyPzyxPzyxP

Şu şekilde yazabiliriz:Şu şekilde yazabiliriz:

DAHA VERİMLİ BİR ÇÖZÜM:DAHA VERİMLİ BİR ÇÖZÜM:

Daha iyi bir yaklaşım olarak, t anındaki kısmi gözlem dizisi Daha iyi bir yaklaşım olarak, t anındaki kısmi gözlem dizisi oo11,o,o22,…..,o,…..,ott ve durum s ve durum sii’nin olasılığı ’nin olasılığı αα olsun. olsun.

),|,...,()( 1 iqooPi ttt

Kafes şeklinde, Alfa’nın değerlerini yazarsak, son sütunun Kafes şeklinde, Alfa’nın değerlerini yazarsak, son sütunun toplamı bize gözlem dizisinin olasılığını verecektir.toplamı bize gözlem dizisinin olasılığını verecektir.

■ ■ Bu işlemi gerçekleştirmek için Bu işlemi gerçekleştirmek için kullanılan algoritmaya “forward kullanılan algoritmaya “forward algorithm” – ileri algoritma denir algorithm” – ileri algoritma denir ve 3 aşamadan oluşur:ve 3 aşamadan oluşur:

1) Başlangıç durumuna getirme:1) Başlangıç durumuna getirme:

)()( 11 obi ii

2) Sonuç çıkarma:2) Sonuç çıkarma:

)(])([)( 11

1

tj

N

iijtt obaij

3) Sonlandırma:3) Sonlandırma:

N

iT iOP

1

)()|(

1. Adım başlangıçtır, her bir s1. Adım başlangıçtır, her bir sjj durumunda, adurumunda, ajj(t), t zamanı sonuna (t), t zamanı sonuna kadar o gözlem dizisindeki gözlemin kadar o gözlem dizisindeki gözlemin olasılığını saklar.olasılığını saklar.

■ ■ Düğüm çözmenin amacı, verilen gözlem dizisinden en yüksek ihtimalli (en Düğüm çözmenin amacı, verilen gözlem dizisinden en yüksek ihtimalli (en yakın), gizli durum dizisini keşfetmektir. Bu problemi çözmenin bir yolu, bir yakın), gizli durum dizisini keşfetmektir. Bu problemi çözmenin bir yolu, bir gözlem dizisi için en iyi tek durum dizisini bulmaya yarayan "Viterbi gözlem dizisi için en iyi tek durum dizisini bulmaya yarayan "Viterbi Algoritması"dır. Viterbi algoritması, forward algoritmasına benzeyen başka bir Algoritması"dır. Viterbi algoritması, forward algoritmasına benzeyen başka bir kafes algoritmasıdır, farkı sadece geçiş olasılıklarının, toplanmak yerine her kafes algoritmasıdır, farkı sadece geçiş olasılıklarının, toplanmak yerine her adımda artmasıdır. öncelikle şunu tanımlarız:adımda artmasıdır. öncelikle şunu tanımlarız:

Bu, kısmi durum dizisi için en olası durum yolu(path)'nun olasılığıdır.Bu, kısmi durum dizisi için en olası durum yolu(path)'nun olasılığıdır.

1) Başlama:1) Başlama:

2) Özyineleme:2) Özyineleme:

Fig. Viterbi Fig. Viterbi Algoritmasının Algoritmasının özyineleme adımlarıözyineleme adımları

3) Sonlandırma3) Sonlandırma

Q* optimal durum dizisi(Q* = {q1*,q2*,…,qT*})

P* optimizeli durum olasılığı.

4) Optimal Durum Dizisi Geri İz Sürümü4) Optimal Durum Dizisi Geri İz Sürümü

■ ■ Özyineleme adımındaki forward Özyineleme adımındaki forward algoritmasındaki en büyük fark, algoritmasındaki en büyük fark, toplama yerine en büyüğünü alıyoruz toplama yerine en büyüğünü alıyoruz ve seçtiğimiz maksimum durumu, geri ve seçtiğimiz maksimum durumu, geri dönüş noktası olarak saklıyoruz. Geri dönüş noktası olarak saklıyoruz. Geri iz sürme adımı fig. X'te gösterilmiştir, iz sürme adımı fig. X'te gösterilmiştir, özyinelemede saklanan geri dönüş özyinelemede saklanan geri dönüş noktaları ile en iyi durum dizisi noktaları ile en iyi durum dizisi bulunabilir, fakat şu not edilmelidir ki, bulunabilir, fakat şu not edilmelidir ki, ikinci en iyi durum dizisini bulmanın ikinci en iyi durum dizisini bulmanın kolay bir yolu yoktur.kolay bir yolu yoktur.

Bir işlemden verilen örnekler kümesi ile, o işlemi tanımlayan en iyi Bir işlemden verilen örnekler kümesi ile, o işlemi tanımlayan en iyi model model λλ = (A,B, = (A,B,ππ)) parametrelerini tahmin etmeye çalışırız.parametrelerini tahmin etmeye çalışırız.bu işlemi yapmak için iki yaklaşım vardır, örneklerin formuna bu işlemi yapmak için iki yaklaşım vardır, örneklerin formuna dayalı olarak, gözetlenmiş veya gözetlenmemiş eğitme esaslı.dayalı olarak, gözetlenmiş veya gözetlenmemiş eğitme esaslı.Eğer eğitme örneği, bir işlemin(proses) hem giriş hem de çıkışlarını Eğer eğitme örneği, bir işlemin(proses) hem giriş hem de çıkışlarını bulunduruyorsa, girişleri gözlemlere, çıkışları da durumlara bulunduruyorsa, girişleri gözlemlere, çıkışları da durumlara eşitleyerek, gözetlenmiş eğitim gerçekleştirebiliriz.eşitleyerek, gözetlenmiş eğitim gerçekleştirebiliriz.

Fakat eğitim bilgisinde sadece girişler verilmişse, o gözlemleri Fakat eğitim bilgisinde sadece girişler verilmişse, o gözlemleri üretebilecek bir model tahmin etmek için,gözetlenmemiş eğitim üretebilecek bir model tahmin etmek için,gözetlenmemiş eğitim kullanmalıyız. Bu bölümde, eğitme için gözetlenmiş yaklaşım kullanmalıyız. Bu bölümde, eğitme için gözetlenmiş yaklaşım tartışacağız.tartışacağız.

■ ■ Delta modelini yaratmanın en kolay yolu, eğitme örneklerinden Delta modelini yaratmanın en kolay yolu, eğitme örneklerinden büyük parçalar edinmektir. bu yaklaşım için klasik örnek, PoS (part büyük parçalar edinmektir. bu yaklaşım için klasik örnek, PoS (part of speech) etikeltlemedir. 2 küme tanımlarız:of speech) etikeltlemedir. 2 küme tanımlarız:- t- t11....t....tNN , HMM durum kümesine (s , HMM durum kümesine (s11...s...sNN) eşitlediğimiz, etiketler ) eşitlediğimiz, etiketler kümesidir.kümesidir.-ww11....w....wNN , HMM gözlem kümesine (v , HMM gözlem kümesine (v11...v...vNN) eşitlediğimiz, kelimeler ) eşitlediğimiz, kelimeler kümesidir.kümesidir.

■ ■ Doğru PoS etiketleri ile etiketlenmiş cümleler barındıran Doğru PoS etiketleri ile etiketlenmiş cümleler barındıran parçalardan, Delta model parametrelerini belirlemek parçalardan, Delta model parametrelerini belirlemek için, ,maksimum olabilirlik kestirimi (MLE) kullanırız. Geçiş matrisi için, ,maksimum olabilirlik kestirimi (MLE) kullanırız. Geçiş matrisi için şunu kullanırız:için şunu kullanırız:

Count(tCount(tii, t, tjj), eğitme verisindeki t), eğitme verisindeki tii’yi takip eden t’yi takip eden tjj’lerin sayısıdır. Gözlem ’lerin sayısıdır. Gözlem

matrisi için:matrisi için:

Count(wCount(wkk, t, tjj), eğitme verisindeki w), eğitme verisindeki wkk 'nın t 'nın tjj tarafından etiketlenme tarafından etiketlenme

sayısıdır. Ve son olarak başlangıç olasılık dağılımı:sayısıdır. Ve son olarak başlangıç olasılık dağılımı:

Pratikte, sayımlardan HMM'yi tahmin ederken, normalde, sıfır Pratikte, sayımlardan HMM'yi tahmin ederken, normalde, sıfır sayımlardan kaçınmak ve modelin performansını artırmak için, sayımlardan kaçınmak ve modelin performansını artırmak için, düzleme(yumuşatma) yapmak gereklidir.düzleme(yumuşatma) yapmak gereklidir.