İş Zekasına Giriş

İş Zekasına Giriş
Erdem Alparslan
Bahçeşehir Üniversitesi
1
İçerik
• Karar alma süreci
– İş Zekası(BI) için motivasyon unsuru
• İş zekasına giriş
– Tanımlar
• BI, DW, OLTP, OLAP
–
–
–
–
BI süreci
Karar destek sistemleri ve mimarileri
OLTP – OLAP kıyaslaması
BI’da veri madenciliğinin yeri
2
Karar alma süreci
• Farklı seviyelerde karar alma
– Operasyonel
• Kısa vadeli geri dönüşler sağlayacak günlük kararlar
• Genelde alt seviye yöneticilerin karar almaları
– Taktiksel
• Orta seviye yöneticilerin aldığı stratejiye uygun orta vade hamleler
– Stratejik
• Üst yönetim tarafından alınan, yapısal olmayan, soyut kararlar
3
Karar alma süreci
• Karar alma süreci
– Problem tanımı
– Alternatif çözümlerin araştırılması
– Seçim yapılması
Aşamalarını içerir.
• Bilgi ve tecrübe karar almanın omurgasını oluşturur
4
Karar alma
İşlenmiş Bilgi
Ham veri
Bilgi
Aksiyonlar
5
Var olan bilgi türleri
• Uzman bilgisi
– Bir konunun uzmanı olan kişinin kişisel çalışma ve
tecrübeleri
– Uzun yıllar iş tecrübesi, ilgi, konsantrasyon
• Örgütsel bilgi
– Kurum bileşenleri arasındaki karmaşık ilişkiyi tanımlar
– Kurum içinde gizli insan kaynağı bilgisini temsil eder
• Bilgi elde etme
– Bilgi toplama (uzmanlardan)
– Bilgi keşfetme (ham veriden)
Bilgi keşfetme
avantaj ve dezavantajlar
• Avantajlar
–
–
–
–
–
Sadece bir ya da birkaç uzmana bağımlı değil
Anlık performansa dayalı
İnsanın tespit edemeyeceği ilişkili verilere ulaşma
Objektif
Teori ve pratik olarak tanınırlığı iyi düzeyde
• Dezavantajlar
– Kullanılan veriye oldukça bağımlı (veri kirliliği)
– Tarihsel veri gerektirir ve oldukça bağımlı (trend
değişiklikleri)
7
Motivasyon – Karar desteği niçin?
• Karar desteği: Bilgiye ihtiyaç duyan varlıklara
(stratejik lider, yönetici ya da analist ) BT yardımıyla
bilgi sağlama
• Ham verideki gizli ilişkilerin tespit edilmesi
• Çok büyük veri yığınlarının kişisel çaba ile
incelenmesinin zorluğu
• Daha tutarlı ve güvenilir sonuç isteği
• Rekabette geri kalmama, hızlı aksiyon olma ve öncü
olma isteği
8
Temel kavramlar
•
•
•
•
•
•
•
•
İş zekası
Veri ambarı
OLTP
OLAP
Data mart
Data küp
…..
………
9
İş Zekası nedir
• Geçmişi anlamaya geleceği öngörmeye yarayan
teknoloji
• Teknoloji
– Veriyi yakalayan, saklayan, erişen ve analiz eden
– İş performansını ölçülebilir veriler üzerinden belirleyen
• Uygulama
–
–
–
–
Karar destek sistemi
Sorgu ve raporlama
Anlık analitik süreç (OLAP)
İstatistiksel süreç, veri madenciliği ve öngörü
10
11
Veri ambarı
• Kurumun operasyonel veritabanından tamamiyle
ayrılan karar destek veri tabanı
• Farklı kaynaklardaki bilgiyi tekilleştirerek ilişkilendiren
bir bakış açısı
• Konsolide edilmiş ve tarihsel veriyi analiz amacıyla
işleyen mimari
• Çok boyutlu veri modeli üzerinde veriye farklı bakış
açılarından bakmaolanağı
Veri ambarı – İlişkisel veritabanı
• Online işlem işleyici (OLTP)
– İlişkisel veritabanlarının birincil işi
– Tüm gündelik operasyonel veriler
– Veri tutarlılığı çok önemli, hızlı yanıt verebilme kabiliyeti
• Online analiz işleyici (OLAP)
– Veri ambarlarının birincil işi
– Ver analizi ve karar verme amaçlı
– Büyük hacimli verilerin çok boyutlu incelenmesi amaçlanır
13
Veri ambarı – İlişkisel veritabanı
• Birbirinden ayrılan yönleri
–
–
–
–
Kullanıcı ya da sistem yönelimlilik
İçerdiği veri (anlık, tarihi, özet, detay)
Veritabanı tasarımı (ER, star, snowflake …)
Erişim şekilleri (sadece SELECT ya da SELECT-UPDATEINSERT)
– Görünüm (anlık, geçmiş, evrimsel, bütünsel)
14
OLTP
Kullanıcı
-
OLAP
İşlemci, BT çalışanı
Bilgi işçisi
Fonksiyon
Günlük operasyonlar
Karar desteği
VT Tasarımı
Uygulama yönelimli
Amaç yönelimli
Anlık, izole
Tarihsel, bütünleşik
Görünüm
Detaylı,düz ilişkisel
Özet, çok boyutlu
Kullanım
Yapısal, tekrarlı
Ad hoc
İş Birimi
Kısa ve basit işlem
Karmaşık sorgu
Okuma / yazma
Okuma
İndeksler üzerinde
Sıralı aramlarla
Onlar
Milyonlar
100MB-GB
100GB-TB-PB
Binler
Yüzler
Veri
Erişim
Operasyon
Erişilen kayıt sayısı
Boyut
Kullanıcı sayısı
15
SQL – OLAP – Veri Madenciliği
Görev
Sonuç
çeşidi
Metod
Örnek
soru
SQL
OLAP
Veri Madenciliği
Detaylı ve özet veri
çıkarma
Özet, trend analizi ve
öngörü
Veri çıkarsama
Bilgi
Analiz
Öngörü
Soru-cevap
Çok boyutlu
modelleme, istatistik
Model öğretme ve
yeni veriye uygulama
Ortak fonları son 3
yılda kimler satın aldı?
Ortak fonları satın
alanların bölge ve
yıllara göre ortalama
geliri ne kadardır?
Önümüzdeki 6 ayda
ortak fonları hangi
müşterilerimiz satın
alacaklar? Neden?
16
Örnek
17
Örnek - inceleme
•
Yukarıdaki tabloyu DBMS mantığı ile sorgulayarak şu sorulara cevap bulabiliriz:
–
–
–
•
OLAP yardımı ile çok boyutlu model oluşturabiliriz (data küp)
–
•
Güneşli günlerdeki hava sıcaklığı ne?
Hangi günler nem oranı 65 in altında?
Hangi günler sıcaklı 70 in üzerinde iken nem 70 in altında?
Gün, durum ve piknik kullanılarak şu model oluşturulabilir:
Veri madenciliği kullanılarak aşağıdaki karar ağacı elde edilebilir:
– Durum = sunny
• Nem=yüksek  piknik yok
• Nem=Normal  piknik var
– Durum=overcast  piknik var
– Durum=yağışlı
• Rüzgar var  hayır
• Rüzgar yok  evet
18
İş Zekası Perspektifinden
Karar Destek Sistemleri
19
Çok katmanlı karar destek sistemleri
• Veriambarı sunucusu
– Genellikle ilişkisel veritabanı sistemleri, nadiren dosya sist.
• OLAP sunucular
– İlişkisel OLAP (ROLAP): İlişkisel veritabanlarının operasyon
verilerini analiz için çok boyutlu mantığa uyarlanışı
– Çok boyutlu OLAP (MOLAP): Çok boyutlu OLAP
hesaplamaları için tasarlanmış dedike sunucu
• İstemciler
– Sorgu ve raporlama araçları
– Analiz araçları
– Veri madenciliği araçları
20
Veri ambarı VS Datamartlar
• Kurumsal veriambarı: Tüm kurumu ilgilendiren
varlıklar ile ilgili bilgiyi barındırır
– Çok kapsamlı iş modellemesi gerektirir (yıllar alabilir)
• Datamartlar: Belirli bir iş için departman bünyesinde
oluşturulmuş bakış açıları
– Pazarlama datamartı: müşteri-ürün-satış
– Hızlı oluşturma geç adaptasyon
• Sanal veriambarı: Diğer veritabanlarına görünümler
– Efektif sorgular için diğer verikaynaklarına görünüm atma
– Kullanımı kolay ancak operasyonel veritabanına yük
bindirir
21
Metaveri havuzu
• Metaveri veri ambarı nesnelerini tanımlamak için
kullanılır. Şu şekillerde olabilir:
–
–
–
–
–
–
Veriambarının yapısını belirtir
Operasyonel metaveri içerebilir
Özetleme için kullanılmış olan algoritmalar
Operasyonel veritabanından veriambarına nasıl aktarıldığı
Sistem performansı için gerekli veri
İş sahibi verisi (terimler, tanımlar, kısıtlamalar)
22
İş zekası – eski tanım
23
İş zekası – yeni tanım
24