Upload
koko
View
106
Download
2
Embed Size (px)
DESCRIPTION
VERİ MADENCİLİĞİ SÜRECİ. Şule ÖZMEN Marmara Üniversitesi İ.İ.B.F. İngilizce İşletme Bölümü http://suleozmen.marmara.edu.tr [email protected]. AMAÇ. Veri madenciliği uygulama süreci Müşteri İlişkileri Yönetimine ilişkin uygulamalar. İÇERİK. Bilginin Değeri / Verinin Önemi - PowerPoint PPT Presentation
Citation preview
VERİ MADENCİLİĞİ SÜRECİ
Şule ÖZMEN
Marmara Üniversitesi İ.İ.B.F.İngilizce İşletme Bölümü
http://suleozmen.marmara.edu.tr
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
AMAÇ
• Veri madenciliği uygulama süreci
• Müşteri İlişkileri Yönetimine ilişkin uygulamalar
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
İÇERİK• Bilginin Değeri / Verinin Önemi• Neden Veri Madenciliği• Veri Madenciliğinde kullanılan verinin özelliği• Veri Ambarı • Müşteri İlişkileri Yönetiminde Veri Madenciliği
uygulamaları
• Veri Madenciliği Standart Süreci
CRISP-DM: CRoss Industry Standard Process for Data Mining
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilginin Değeri / Verinin Önemi
• Yeni ekonomide bilgi, üretimin faktörlerinden birisi
• Internet küreselleşmeyi körüklüyor
• Rekabet artıyor
• Kar marjları düşüyor
• Müşteriyi memnun etmek her geçen gün zorlaşıyor
• Tüketiciler, müşteriler bilgiyle donanıyor
• Sadakatleri azalıyor/azalabiliyor
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Değişen koşullarla başa çıkmanın çaresi:
• Bilgi ile değer yaratmak
• Verileri toplamak, bilgi üretme amacına yönelik hazırlamak
• Analiz etmek
• Elde edilen bilgileri eyleme yönelik olarak kullanmak
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Dijitalleşmenin etkisi
• Büyük miktarlarda verinin• Çok hızlı bir biçimde
– toplanabilmesi– depolanabilmesi ve – analizinin mümkün olması
• Bilgiye dönüştürülen verinin • Doğru ve zamanında karar alabilmesi için
onların kullanıcılara sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Neden Veri Madenciliği?
Bilgi Edinme İhtiyacı
Karar Süreci
Sorgulama Türü
Sorgu Karmaşıklığı
Verinin Detay Düzeyi
GEÇMİŞ
Raporlama
Reaktif
Önceden tanımlanmış
Basit
Özet
BUGÜN
Keşfetmek
Proaktif
Anlık
Karmaşık
Detaylı
Kaynak: Cenk Kıral - Oracle Firması CRM Yöneticisi
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Önceden tanımlanmış Sorgulamalar
Bağıntılarla ilgilisorgulamalar
Analitik tahmin modelleri
RAPORLAMA
NE OLDU?
ANALİZ
NEDEN OLDU?
TAHMİN
NELER OLACAK?
Kaynak: Oracle
SORGULAMA AŞAMALARI
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
NELER OLMALI?
OLMASI GEREKENi
GERÇEKLEŞTiR
Olmasını sağla
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Yeni
Müşteri!
Her ay en az
5 kez uğraryeni bir iş
kuracak
Otomatik ödeme
talimatı var
Vadeli ve vadesizmevduatı var
otomatik ödeme?
Biz zamanlar en iyi müşterimizdi
Rakibimizle çalışıyor
Kredi Kartı
müşterimiz aylık ortalama
harcaması su kadar
Hizmetlerimizinçoğunu
alıyor
Daima Promosyon
Kuponu kullanır
Eski müşterimizbankaya4 aydır
uğramadıinaktif
Yeni bebekleri
oldu
Hem bireyselhem kurumsal
müşterimiz
Konut kredisi almışkrize rağmen ödemesini
aksatmamış
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri madenciliğinde veri
Operasyonel veri
• Uygulamaya yöneliktir
• Dağınıktır
• Kısa zamanda oluşur
• Tekrarlayabilen veriler
Enformasyonel veri
Kişiye yöneliktir
Bütünleşiktir
Zaman içinde oluşan
Birleştirilmiş veriler
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Ambarı (Data Warehouse)
Bir kurumda gerçekleşen • tüm operasyonel işlemlerin, • en alt düzeydeki verilerine kadar inebilen,• etkili analiz yapılabilmesi için özel olarak
modellenen, • tarihsel derinliği olan, • fiziksel olarak operasyonel sistemlerden
farklı ortamdaki yapılardır.
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
VERİ MADENCİLİĞİ
• Eyleme yönelik bilgi elde edilmesini amaçlar
• Enformasyonel verilerin Veri Tabanlarında, Veri Ambarlarında tutulması gereği vardır.
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Sorgulama örnekleri(1)• Karar Destek Sistemlerinde bir işlem sonucu oluşmuş tek bir veriye
bakmak yerine bir grup müşteri bilgisini analiz ederek eğilimleri ortaya çıkarmak önemlidir. Çünkü Karar Destek Sistemlerinde tasarlanan sorgulamalar iç içe girmiş birden fazla değişken boyutuyla ilgilidir.
Örneğin:
“Son iki aydan beri evininin 100 km çevresindeki bir restoranda 75 milyon ve üzerinde hesap ödeyenler hangi özellikte insanlar?” sorusuna cevap aramak.
“Kredi kartı ödemesini aksatmadan yapan, bankada otomatik ödeme talimatı olan ve de maaşı o bankaya yatan müşterilerin özellikleri nedir?”
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Sorgulama örnekleri (2)
– Müşterilerim aldıkları mevcut ürünler dışında diğer hangi ürünleri almak
isterler?
Çapraz satış yapabilmek için kullanılabilecek bir sorgulama yöntemidir.
– En karlı müşterilerim kimlerdir ve bunların özellikleri nelerdir?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Sorgulama örnekleri (3)
• Kurumumuzla çalışmayı bırakıpta rakibe yönelen müşterilerim kimlerdir ve (daha da önemlisi) bunların özellikleri nelerdir? • Yukarıdaki örnekte anlatıldığı gibi, bu sorunun cevabı
sadece bırakıp giden müşterilerin kimler olduğunu raporlamak değildir. Amaç bunları ayrıştıran özellikleri
ortaya çıkaran bir model oluşturmak ve bu modeli mevcut müşterilere uygulayarak müşteriyi rakibe gitmeden önce
belirleyip, gitmesini önleyecek tedbirler almaktır.
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri madenciliğinde amaç
Eyleme yönelik bilgi elde etmek
• Hangi müşteriye
• Hangi teklif
• Hangi ortamda, hangi kanaldan
• Ne zaman sunulmalı
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilgi İhtiyacıAMAÇ
Veri KaynaklarıVeri İnceleme
Değerlendirme
Modelleme
Veri Hazırlama
KullanmaVERİ
Kaynak Clay Helberg, Data Mining with Confidence, SPSS, 2002
CRISP-DM Veri Madenciliği Standard Süreci
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi• Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilgi ihtiyacının belirlenmesi
• Hangi amaç için bilgiye ihtiyaç var?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Genel Amaçlar
• Müşteri sayısını, sadakatini, karlılığını artırmak (genel)
• Tedarik sürecinin etkinliğinin ve verimliliğini artırmak (genel)
• E-ticaret sitesine giren ve alışveriş yapan ziyaretçi sayısını artırmak (genel)
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilgi ihtiyacının belirlenmesi
• Hangi amaç için bilgiye ihtiyaç var?
• Hangi bilgi bu amaca hizmet eder?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Amaca uygun bilgi nedir?
• Müşteri sayısını, sadakatini, karlılığını artırmak (amaç)
• Çapraz satış kampanyası için hedef müşteri kitlesi bilgisi (ihtiyaç duyulan bilgi)
• Tedarik sürecinin etkinliğinin ve verimliliğini artırmak (amaç)
• Hangi tedarikçiden ne zaman ne miktarda mal alınacağı bilgisi (ihtiyaç duyulan bilgi)
• E-ticaret sitesinin ziyaretçi ve alışveriş yapan müşteri sayısını artırmak (amaç)
• Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi)
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Bilgi ihtiyacının belirlenmesi
• Hangi amaç için bilgiye ihtiyaç var?
• Hangi bilgi bu amaca hizmet eder?
• Bu bilgiyi elde etmeye yönelik veri madenciliği amacı nedir?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği’nin Amacı• Çapraz satış kampanyası için hedef müşteri kitlesi
bilgisi (ihtiyaç duyulan bilgi)
• Kampanya sırasında satış teklifini kabul etme olasılığı yüksek olan müşterileri isabetli tespit edecek modeli kurmak (veri madenciliğinin amacı)
• Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi)
• Siteden alışveriş yapan ile yapmayan uzun süre kalan ile kalmayanı ayırt edecek faktörleri belirleyecek modeli kurmak
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
• Personel • Veri
– mevcut mu, elde edilebilir mi?
• Donanım– verilerin depolandığı, – analiz için verinin seçilip yerleştirileceği donanım yeterli
mi?
• Yazılım– veriye erişmek, analizini yapmak,– raporlama ve sonuçları kullanıma sunmak için uygun
mu?
1. Aşamada nelere dikkat edilmeli
Bilgi ihtiyacının belirlenmesi aşamasında
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
1. Aşamada nelere dikkat edilmeli
• Fayda/maliyet analizi • Başarı kriterinin belirlenmesi:
– ihtiyaç duyulan bilgiyi elde etme derecesi – bu bilginin amaca ne derece hizmet ettiği – kriter sadece modelin tahmin gücünün yüksek
olması değil elde edilen bilginin taşıdığı değer
• Modelin tahmin gücünün yanısıra satış başarı oranı nedir?
• Sunulan teklifler hangi oranda kabul görmüştür?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi• Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri kaynaklarının belirlenmesi
• Veriler hangi kaynaklardan elde edileceğine karar verilmesi
• İhtiyaç duyulan veriler farklı kaynaklardan elde edilmesi durumunda
– hangi ortamda nasıl birleştirileceğine
– aktarılacağı nihai ortama ve nasıl aktarılacağına karar verilmesi
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
VERİ KAYNAKLARI - Örnek
• E-ticaret sitesinin ziyaretçi ve alışveriş yapan müşteri sayısını artırmak (amaç)
• Sitede uzun süre kalma ve alışveriş yapma olasılığını artıran faktörlerin neler olduğu bilgisi (ihtiyaç duyulan bilgi)
VERİ KAYNAKLARI • Web log: Ziyaretçilerin hangi sayfaları hangi sıklıkta
görüntülediklerinin vb. verilerin tutulduğu dosyalar• Üye müşteri bilgilerinin tutulduğu dosyalar• Alışveriş işlem verilerinin tutulduğu dosyalar
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Verilerin incelenmesi, anlaşılması
• Veri nasıl tanımlanmış – kodlamalar– meta data: veri hakkındaki veriler
• Veri kalitesinin incelenmesi– eksik veri olup olmadığına– veri girişinin hatalı olup olmadığına– kodlamalarda uyumsuzluk– metadata hataları
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Verilerin incelenmesi_kavranması
• Verinin keşfi ve hazırlanması– Amaç: başlangıçta veriyle ilgili fikir elde etmek
• Tablolamalar Grafikler– OLAP küpleri:Çok boyutlu tablolamalar – Çeşitli kriterlere göre gruplandırmalar– Satış dağılımları
• Bölgeler • Ürünler veya • Şube/mağaza bazında
– Ortalamalar, toplamlar, sapmalar
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
2. Aşamada nelere dikkat edilmeli
Veri kalitesi – Eksik veri
– Veri girişlerinde hata
– Kodlamalarda uyumsuzluk
– Metadata hataları
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi• Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Verilerin hazırlanması
• Hangi veri alanları (değişkenler, sütünlar)
• Hangi kayıtlar (satırlar) kullanılacak
• Örnekleme– Gözlem sayılarının fazla olması durumunda
zaman kazandırır, maliyeti azaltır – Tabakalar; kampanyadan alanları ve almayanları
kapsamak açısından önemli
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Verilerin temizlenmesi• Verinin eksikliği ve veri kirliliğinin giderilmesi
• İdeal olan eksik verileri zaman içinde tamamlama yoluna gidilmesi
• Tahmin yöntemiyle tamamlanması
• Hatalı verilerin – Veri girişi esnasında önlem alma– Otomatik kontrol yapılabilir; araba kredisi almış ama arabası yok
gözüküyor
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Yeni veriler oluşturmak
• Verileri bazı işlemler yaparak farklı bir veri setine dönüştürmek
– logaritma– toplam, bölüm, fark– yeniden kodlama
• Faktör analizi ile değişkenleri daha az sayıda boyutlara indirgemek (RFM indeksi gibi)
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Verileri hazırlarken nelere dikkat edilmeli• Amaca hizmet etmeyecek değişkenler varsa ayıklanmalı
• Eksik, hatalı ölçülen, hatalı veri girilen alanlar ayıklanmalı
• Eksik verilerin sistematik bir hataya yol açıp açmayacağı kontrol edilmeli
• Birbirine eşdeğer tekrar niteliğinde olan veri alanları ayıklanmalı
• Eklenecek yeni değişkenin verisini hazırlamak için gereken çabaya değer mi?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi • Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Modelin oluşturulması• Modelin amacı:
– Sınıflandırma – Tahmin
• Modelleme tekniği– Modelin varsayımlarının kontrol edilmesi– Algoritmaların seçilmesi
• Modelin uygunluğunun test edilmesi• İsabetli tahmin oranı• Kullanıcıların anlamaları ve kullanabilmeleri
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi • Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Sürecin ve modelin değerlendirilmesi
• Modelin bulgularının incelenmesi– Hangi gruplara ayırmış– Bu grupların özellikleri nelerdir
• Model kurma ve bunun için gerekli verilerin elde edilmesi kullanıma hazırlanma sürecinin değerlendirilmesi
• İhtiyaç duyulan bilgi gerçekten elde edilmiş mi?
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
ŞU ANDA
• Elde ne var biliyorsunuz– Modeliniz, modelleriniz, bulgularınız
• Nasıl elde ettiğinizi biliyorsunuz– hangi verileri,
– hangi aşamalardan geçirip hazırladıktan sonra
– hangi modeli, tekniği kullanarak
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Değerlendirme sonucu alternatifleriniz
• Modeli ve bulguları kullanmak
• Daha iyi, daha güçlü bir model kurma kararı
• Kullanmaya değer bulmamak
• Yeni bir veri madenciliği süreci başlatmak
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
Veri Madenciliği Süreci
• Amaç: Bilgi ihtiyacının belirlenmesi, problemin tanımı
• Veri kaynaklarının belirlenmesi ve verilerin incelenmesi
• Verilerin hazırlanması • Modelin oluşturulması• Sürecin ve modelin değerlendirilmesi • Sonuçların kullanıma sunulması
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
İstatistik ve Veri Madenciliği
• Veri üzerindeki kontrol (VM’de daha az)
• Verilerin büyüklüğü (VM’de daha çok)
• Hipotezlerin oluşturulup test edilmesi– VM’de bunun yanısıra daha çok verileri, ve bu veriler
arasındaki örüntüyü keşfetmeye yöneliktir...
• İstatistiksel olarak anlamlı olmayan farklılıklar kar zarar hanesine çok anlamlı bir biçimde yansıyabilir.
Şule Özmen İticu_Veri Madenciliği_9_Mayıs
TEŞEKKÜRLER• Sunuma erişim http://suleozmen.marmara.edu.tr
Tebliğ ve Sunumlar bağlantısı
• CRISP-DM http://www.crisp-dm.org
• CRISP-DM Konsorsiyum – NCR Teradata Division
– SPSS
– Daimler-Crysler
– Ohra Bank