Büyük Veri Analitiği ve Güvenliği
advertisement
24.02.2016 Veriler : Tanımlar Veri • Sayısal hale dönüştürülmüş sinyaller Büyük Veri Analitiği ve Güvenliği Prof. Dr. Şeref SAĞIROĞLU Gazi Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölüm Başkanı [email protected] Büyük Veri • “Mevcut BT işleyemeyeceği kadar geniş ve karmaşık veri kümeleridir.” • “BT araçları ve uygulamalar tarafından oluşturulan, büyük hacimli, çeşidi bol ve hızla gelen, geleneksel yöntemlerle toplama, saklama, temizleme, görselleştirme, analiz etme ve anlamlandırma işlemlerini kapsayan dağıtık veri kümeleridir.” 11.2.2016 Sunum Planı Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Büyük Veriler • Büyük Veride Bilinmesi Gerekenler • Veri, Büyük veri, türleri, boyutları, özellikleri, önemi, güçlükler, beklentiler • Büyük Veri Örnekleri • Büyük Veri Bilimi • Büyük Veri Analitiği TERABAYT • Büyük Veri Araçları 11.2.2016 PETABAYT EKSABAYT ZETABAYT GIGABAYT • Büyük Veri Güvenliği • Değerlendirmeler 4 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 2 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 5 Veriler Büyüyor Kapsamlı BÖLÜM 1: Veri BÜYÜK VERİ İLE İLGİLİ BİLİNMESİ GEREKENLER 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 3 11.2.2016 Büyük Veri Smart Veri Boyutlu Veri Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 6 24.02.2016 Verilerin Önemi Araştırmalar Değişiyor Bilinen Bilinmeyenleri KARARLAR amaç BİLGELİK ÖZBİLGİ anlam içselleştirme BİLGİ içerik VERİ 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 7 11.2.2016 Devletler Değişiyor Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 10 Büyük Veriyi Oluşturan Alanlar • • • • • • • • • • • e-, m-, uVatandaşlar Vatandaşlar Büyük Veriler Topraklar 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Veriler Değişiyor SINIRLI 8 İşlem ve uygulama trafikleri, e-postalar, metin, belge, video, ses, resim, tıklama akışları, sistem günlükleri, arama sorguları, sosyal ağ etkileşimleri, sağlık kayıtları, bilimsel veriler, devlet ve özel sektöre ait kayıtlar, sensörler akıllı telefonları 11.2.2016 11 Veri Türleri artıyor.. PEK ÇOK VERİ TİPİ MEVCUT Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı BÜYÜK VERİ Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Duran veriler 11.2.2016 Bilinmeyen Bilinmeyenleri 9 11.2.2016 Bağlı veriler Zaman serileri Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Akışkan veriler 12 24.02.2016 Büyük Verinin Bileşenleri (5V) Volume (kapasite) :Terabyte, Petabyte, Daha Fazlası Velocity (Hız): Batch, Gerçek Zamanlı, Etkileşimli Value (Değer), İstatistiksel, Gizli, Bilinmeyen BÖLÜM 2: Veracity (Geçerlik): Tutarlık, Güvenilirlik Variety (Çeşitlilik): Yapısal, Yarı-yapısal, Yapısal olmayan 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Büyük Verinin Özellikleri Veri Saklama İşleme Yöntemi İsteğe Bağlı Sürekli Gerçek Zamanlı Zaman Serileri İlişkisel Sütün Tabanlı Graf Tabanlı Anahtar-Değer Doküman Tabanlı Yüksek Performanslı Hesaplama Dağıtık Paralel Grid Kümeleme Tahmine Dayalı Analitik Sorgu ve Raporlama Modelleme İşleme Amacı 11.2.2016 İşlemsel Geçmiş Meta Ana Toplu Akan İnteraktif Yapısal Yarı-Yapısal Yapısal Olmayan Web ve Sosyal Medya Makine Kaynaklı Nesnelerin İnterneti (IoT) İnsan Kaynaklı Dâhili Kaynaklar Veri Sağlayıcıları Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 16 İnsan İş Süreci Kurumsal Uygulamalar Veri Ambarları Endüstri Akademi Devlet Araştırma Merkezleri Karma Veri Kaynağı Veri Tüketi cileri Veri Kull anı mı Analiz Türü 14 Büyük Veri Gelişmeleri 11.2.2016 11.2.2016 Veri Biçimi BÜYÜK VERİ BÜYÜK VERİ ÖRNEKLERİ Büyük Veri Sonuçları Veri Türü Veri Frekansı 13 11.2.2016 Kaynak: http://bits.blogs.nytimes.com/2013/06/19/sizing-up-big-data-broadening-beyond-the-internet/ 17 Büyük Veri Örnekleri Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Kaynak: http://www.memoori.com/big-data-internet-things-gartners-hype-cycle-emerging-technologies/ 15 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Kaynak: http://bits.blogs.nytimes.com/2013/06/19/sizing-up-big-data-broadening-beyond-the-internet/ 18 24.02.2016 Büyük Veri Örnekleri TED Konuşması Yapan Proje TED Konuşması Yapan Bir Yapay Zeka Sistemi TED Konuşmaları 2200+, SAMIM.IO, RNN 4 milyondan fazla kelimenin kullanıldığı yaklaşık 2 bin TED konuşmasından beslenen bir proje Google DeepDream Robot: Inceptionism Bilgisayarların insanları, hayvanları ve cisimleri nasıl düşündüğü, anladığı ve tanımladığı üzerine bir proje Google araştırmacıları yapay zekanın görsel tanıma sürecinde ortaya çıkan “sanat eserleri” Makinaların etrafındaki görüntüleri olduklarından farklı bir şekilde hayal edebilmesi POI.BOT 11.2.2016 Kaynak: Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı http://wikiproject.oii.ox.ac.uk/mapping_wikipedia/#map=id&lang=en&loc=1 19 Her kullanıcının ayrı iletişim biçimini ve düşünme şeklini taklit etmeye çalışan kişisel robot, kullanıcısı yerine otomatik tweet atıyor. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 22 Verilere Bilimsel Bakış BÖLÜM 3: BÜYÜK VERİ BİLİMİ Kaynak: http://altmetrics.org/altmetrics12/kaur/ 11.2.2016 İnterneten yapılan aramalara dayanan matematiksel modeller ile gribin ABD’de bölgelere ve hangi yoğunlukta yayıldığını tespiti Google veri tabanı ve veri işleme kapasitesiyle otoritelerinden daha etkili bir şekilde hastalığın yayılma bilgilerine sahip 450 milyon model kullanıldı ve gerçek vakalar ile karşılaştırıldı. 45 arama terimi ile resmi yayılma oranları arasında çok güçlü bir korelasyon olduğu tespit edildi. Google tarafından ortaya konulan araştırma internetin bu zamana kadar kamu sağlığı kapsamda kullanılmayan önemli bir yönünü ortaya koymaktaydı. İnternet arama motoru devinin elindeki veri insanlık için çok kıymetli yenilikçi mal ve hizmetlerin ortaya çıkması 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 23 Büyük Veri Bilimi Tanımları Google Domuz Gribi Projesi 2009 yılında domuz gribi salgını (H1N1 virüsü), Nature Kaynak: S. Cook ve Ark.,DOI: 10.1371/journal.pone.0023610 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 21 “Elektronik ortamlardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş, ilişkisel veri tabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal olmayan veri yığınıdır.” “Günümüzdeki bilgi çöplüğü diye adlandırılan olgudan muazzam derecede önemli, kullanılabilir, yararlı yani çöplükten hazine çıkmasına neden olan yegane sistemdir.” “Geleneksel veritabanı araçları ve algoritmaları ile işlemesi zor olan bu büyük verinin oluşturulması, saklanması, akışı, analiz edilmesi gibi birçok konuyu içeren bilim dalıdır.” 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 24 24.02.2016 Büyük Veri Bilimi Veri Bilimi Makina Öğrenmesi DAHA ZOR ZOR Matematik İstatistik Bilgisayar Bilimi Geleneksel Yöntemler 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 25 Büyük Veri Bilimi 11.2.2016 VERİ BİLİMİ Konu Uzmanlığı Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 28 Veri Bilimcisi Sorular sorar, Hipotezler hazırlar ve sunar, BELİRSİZLİK KESİNLİK Denemeler yapar, Verileri araştırır, Bilinmeyeni keşfeder, Verileri modeller, Veri ilişkilerini kurar ve anlamlandırır, Değerlendirmeler ve çıktılar için öngörüler sunar. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 26 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Veri Bilimi İşlemleri Veri Bilimi FEN VE UYGULAMALI BİLİMLER ÇOKLU DİSİPLİNLİ / SOSYAL BİLİMLER VERİ BİLİMİ İşlenmemiş Veri Toplama Veri İşleme Veri Ürünü 11.2.2016 29 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 27 11.2.2016 Veri Kümesi Temizleme Görselleştirilmiş Rapor Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Keşfedici/ Araştırmacı Veri Analizi Modeller / Algoritmalar Karar Verme 30 24.02.2016 Hedef: Verilerden Değer Elde Etme ALTYAPI BÖLÜM 4: BÜYÜK VERİ ANALİTİĞİ 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 31 Büyük Veri Analitiği “Yüksek hacimli verilerden değer elde etmek için, istatistik bilimi, modern ve yapay zeka hesaplama yöntemleri, bilgisayar bilimi ve matematik gibi yaklaşımlar arasındaki entegrasyonu sağlayarak kurumlara daha etkin kararlar almalarında yardımcı olan süreçtir.” 11.2.2016 Birleştirilmiş Kaynaklar Üzerinde Keşif Her Çeşit Veriyi Saklama ve Yönetme Yapısal Verilerin Hızlı Analizi “Bilinmeyen saklı örüntülerin, bilinmeyen ilişkilerin, kullanıcıların veya hizmetlerin eğilimleri, tercihleri veya diğer faydalı işlerdir.” Akan Verilerin Yönetimi Elde edilen çıktılar: daha efektif satış veya hizmet, yeni iş veya kazanç fırsatları, daha iyi ve kaliteli müşteri hizmetleri, operasyonel iş verimliliğinin iyileştirilmesi, rekabetçi ortamların daha sağlıklı olması ve diğer iş alanlarında kullanılabilir. Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 32 Büyük Veri Analitiği Yeni Mimariler ve Uygulamalar Yapısal Olmayan Veri Analizi Veri Kaynaklarının Entegrasyonu 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 35 Büyük Veri Analitiği Adımları Analitik İşlemler FAYDALANMA Problemi Tanımlama Saklama Edinme/Sahip Olma 11.2.2016 34 Gereklilikler “Farklı veri setlerine sahip olan büyük verilerin analiz edilmesidir.” 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 33 11.2.2016 İhtiyaç Tasarımı Veri Ön İşlemleri Veriler Üzerinde Analitik İşlemler Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Verileri Görselleştirme 36 24.02.2016 Büyük Veri Teknik ve Teknolojileri Büyük Veri Analitiği 11.2.2016 Kaynak: GARTNER Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 37 Büyük Veri Analitiği Elde edilecek değerler ile saygınlık, karlılık, hizmet kalitesi arttırabilir, Müşteri memnuniyetini ölçülebilir, Risk analizleri yapabilir, yeni riskler alınabilir, Geleceğine yön verebilir, Kurumlarının değeri artırılabilir. Kurumların kendilerini daha iyi değerlendirmelerini sağlayabilir. Yeni iş alanları ve iş modelleri geliştirilebilir. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Kaynak : http://mattturck.com/category/big-data/ Büyük Veri Teknik ve Teknolojileri Platform Türü Lokal Bulut 38 11.2.2016 Araçlar Hadoop, Spark, MapR, Cloudera, Hortonworks, InfoSphere, IBM BigInsights, Asterix AWS EMR, Google Compute Engine, Microsoft Azure, Pure System, LexisNexis HPCC Systems Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 41 Büyük Veri Teknik ve Teknolojileri Veritabanı Türü SQL NoSQL Column BÖLÜM 5: BÜYÜK VERİ ARAÇLARI 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Key-value Document Graph In-Memory 39 11.2.2016 Araçlar Greenplum, Aster Data, Vertica, SpliceMachine HBase, HadoopDB, Cassandra, Hypertable, BigTable, PNUTS, Cloudera, MonetDB, Accumulo, BangDB Redis, Flare, Sclaris, MemcacheDB, Hypertable, Valdemort, Hibari, Riak, BerkeleyDB, DynamoDB, Tokyo Cabinet, HamsterDB SimpleDB, RavenDB, ArangoDB MongoDB, Terrastore, CouchDB, Solr, Apache Jackrabbit, BaseX, OrientDB, FatDB, DjonDB Neo4J, InfoGrid, Infinite Graph, OpenLink, FlockDB, Meronymy, AllegroGraph, WhiteDB, TITAN, Trinity SAP HANA Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 42 24.02.2016 Büyük Veri Teknik ve Teknolojileri Fonksiyonellik Veri İşleme Veri Ambarı Veri Toplama & Transfer Arama Sorgu Dili İstatistik & Makine Öğrenmesi İş Zekası Görselleştirme 11.2.2016 Sosyal Medya Analizi Araçlar MapReduce, Dryad, YARN, Storm, S4, Kafka, BigQuery Hive, HadoopDB, Hadapt Sqoop, Flume, Chukwa Verilerin Güvenliği EN ÖNEMLİ ÇOK ÖNEMLİ Lucene, Solr Pig Latin, HiveQL, DryadLINQ, MRQL, SCOPE, ECL Mahout, Weka, R, SAS, SPSS, Pyhton, Pig, RapidMiner, Orange, BigML, Skytree Talend, Jaspersoft, Pentaho, KNIME Google Charts, Fusion Charts, Tableau Software, QlikView Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 43 Radian6, Clarabridge ÖNEMLİ 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 46 Büyük Verilere Sahipler Sıradan sunuculardan oluşan küme üzerinde büyük verileri işleme amacıyla uygulamaları çalıştıran ve Hadoop Distributed File System (HDFS) olarak adlandırılan bir dağıtık dosya sistemi ile MapReduce özelliklerini bir araya getiren, açık kaynaklı bir Java kütüphanesidir. Birçok büyük veri teknolojisinin temelini oluşturmaktadır. FACEBOOK bizim sosyal ilişkilerimizi, nelerden hoşlandığımızı, … GOOGLE arama alışkanlıklarımızı, ilişkilerimizi, yazdıklarımızı, konuştuklarımızı, arkadaşlarımızı, bilgi birikimimizi, sağlımızı, … herşeyimizi, ülkeleri ve vatandaşlarını TWITTER düşündüklerimizi, duygularımızı, alışkanlıklarımızı, tepkilerimizi, … MOBİL İŞLETMELER kiminle ne konuştuğumuzu,konumlarımız, sevdiklerimizi, tatillerimizi, boş vakitlerimizi kiminle geçirdiğimizi, hangi arkadaşımıza ne kadar yakın olduğumuzu, etc. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 44 DEVLETLER vatandaşlarının internet üzerinden gerçekleştirdikleri işlemleri izleme kapasitesini önemli oranda arttırmıştır. Örn: NSA skandalları 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 47 Büyük Veri Güvenlik ve Gizlilik Konuları – Literatürdeki Çalışmalar Hadoop Güvenliği Bulut Güvenliği Gözetim Anahtar Yönetimi Veriler Twitter Uygulanamaz (N/A) N/A Saldırı tespit mimarisi Kötü niyetlilik metrikleri DNS, IP kayıtları, HTTP trafiği, honeypot verisi Güvenli veri depolama Güvenli grup anahtarı transferi Güvenli grup veri paylaşımı BÜYÜK VERİ GÜVENLİĞİ 11.2.2016 Metot Bağlantılar arası güven mekanizması Kerberos mekanizması, Bull Eye algoritması ve Name node yaklaşımı Doğrulama, Şifreleme, şifre çözme ve sıkıştırma Anomali tespiti / Ağ davranışı tahmini Anormal kullanıcı davranışı tespiti Dinamik veri depolama denetimi Güçlü anahtar oluşturma / Kimlik doğrulama Denetim BÖLÜM 6: Amaç Hadoop’da güvenlik ve gizlilik HDFS güvenliği Güvenli veri depolama Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Yapılandırılmamış verilerin güvenliği 45 Anonimleştirme Hassas alanların gizlenmesi Mahremiyeti koruyan veri madenciliği Anonimleştirme için ölçeklenebilirlik Ölçeklenebilir mahremiyet koruması 11.2.2016 Anahtar kuruluş şeması ve kimlik tabanlı şifreleme algoritması 10GB boyutlu Veri toplama, entegrasyon, analiz ve yorumlama N/A Kuantum kriptografi ve PairHand protokolü N/A Şartlı proxy yeniden şifreleme şeması N/A XML, e-mail, metin, resim, video, ses vb. Intel Circuit logları Kendinden garantili sistem Merkle Hash Tree tabanlı MuR-DPA Diffie-Hellman tabanlı anahtar şeması Veri analitiği ve güvenliği K-anonimleştirme tabanlı metrikler Adaptif fayda tabanlı anonimleştirme modeli N/A N/A N/A UCI Adult Hibrit yukarıdan aşağıya ve aşağıdan yukarıya alt ağaç anonimleştirme UCI Adult İki fazlı kümeleme algoritması Cencus-Income Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 48 24.02.2016 Büyük Veri Güvenlik ve Gizlilik Konuları Altyapı Güvenliği Saklama ve paylaşımda SLE kullanımı, İlişkisel olmayan NoSQL gibi veri tabanları için hem enjeksiyon gibi klasik tehditlere karşı hem de sisteme özgü ek güvenlik önlemleri alınmalıdır. Veri Gizliliği Veri madenciliği ve analitik süreçlerinin, gizliliği koruyarak ve suistimalleri önleyerek gerçekleştirilmesi, sistemlere erişimin sınırlandırılması ya da verinin şifrelenmesi Veri Anonimleştirme ve Sentetikleştirme Veri Maskeleme, Yerine Koyma, Kayıt Karıştırma, Varyans ve Şifreleme Tekniği Yasal zorunluluklar: ABD: GLBA (Gramm-Leach-Bliley), AB 95/46/EC Yönt., UK Veri Koruma Yasası Anahtar Yönetimi Şifre paylaşımlarının güvenli kanallar aracılığıyla yapılması, hızlı ve dinamik kimlik doğrulama yöntemleri kullanımı Veri Yönetimi Verinin kaynağının bilinmesi, graflar şeklinde analizinin yapılması, uygulamaların doğrulanması Bütünlük ve Tepkisel Güvenlik Cihazlardan ve uygulamalardan toplanan verinin sunum aşamasında filtrelenip doğrulanarak kullanılması Tüm koruma ve güvenlik önlemleri alındıktan sonra, büyük veri altyapısının ve analizlerinin gerçek zamanlı olarak gözetilmesi Kısmen Faydalanılan Kaynak: http://www.slideshare.net/PeterWoodx/big-data-and-security-where-are-we-now-2015 Büyük Veri Başka Sistemlerin Güvenliğini Sağlamak Amacıyla Kullanılması Depolanan veya akan verinin analizi, bu aktivitelerin bilgi güvenliğinde kullanılmasına da sebep olmuştur. Log kayıtları, sistem olayları, ağ trafikleri, SIEM (security information and event management) uyarıları, siber saldırı örüntüleri, iş süreçleri ve diğer bilgi kaynakları kullanılarak pek çok analiz ve karar destek sistemleri geliştirilmektedir. o Anomali tespiti, o Saldırı tespiti, o Zararlı yazılım tespiti, o Dolandırıcılık tespiti, o APT (advanced persistent threats) tespiti, o Gerçek zamanlı savunma sistemleri, o Adli bilişim. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 50 Değerlendirmelerimiz : 1 Büyük Veriye Öncelikle Sahip Olmak Gerekiyor... Büyük verileri toplamak için strateji ve uygulamalara ihtiyaç var. Büyük verileri toplayan ve güvenli olarak saklayan sistemlere, uygulamalara ve araçlara ihtiyaç var. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 52 Değerlendirmelerimiz : 2 Büyük Veri / Büyük Problem... Ham formda veri yönetmek son derece zordur. Verilerin kategorize edilmesi ve buna göre depolanması ve önceliklendirilmesi gerekiyor. BVye harcanan zamanın %80’i yapılandırmada geçiyor. Verileri depolamak değil, verinin içindeki yapıları keşfetmek, veriyi analiz etmek, geleceğe dönük tahminler yapmak Altyapıyı, mimari yapıyı, verileri ve veri yapılarını gözden geçirmek Birbiri ile entegre çalışabilen platformlar, sistemler, uygulamalar yüksek bilgi birikimi gerektiriyor. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 53 Değerlendirmelerimiz : 3 BV Miktarı Büyüyor... İhtiyaçlarda Artıyor... Büyük Veri Pazarı büyüyor (%27’lik büyüme) Yatırımlar artıyor.. (2015 yatırımı 75 Milyar TL) Yeni yatırımlara ihtiyaç var (2017, 100 Milyar TL) Geleneksel veri merkezlerinden ziyade yeni veri merkezlerine ihtiyaç var. Uzman personel ihtiyacı artıyor. Beklentiler artıyor, yeni başarı hikayelerine ihtiyaç var. BÖLÜM 7: BÜYÜK VERİNİN ÖNÜNDEKİ ENGELLER 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 51 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 54 24.02.2016 Değerlendirmelerimiz : 4 Değerlendirmelerimiz : 7 Yeni Değerler Elde Etmek Gerekiyor. BV’lerin çoğu maalesef değer elde etmek için yetersiz. Beklentilere cevap verecek çıktılar üretilemiyor. BVlerin kıymetlendirilmesi gerekiyor bunun içinde veri bilimcilerine ihtiyaç var. Her veriden beklenen değer elde edilemeyeceği gerçeğiyle verilerden değer elde etmek, yapılan işlere değer katmak gerekiyor. 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 55 Değerlendirmelerimiz : 5 56 58 11.2.2016 Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı 59 Değerlendirmelerimiz : 9 Artık Verilerin Her Yerde Olduğu veya Olabileceği Unutulmamalı ve Değer Elde Edebilecek Planlar Yapmalıdırlar. BV Analitiği için Uzmanlığa İhtiyaç Var. BV ile büyük hedeflere ulaşmak için hala insan girdilerine ihtiyacı var, şimdilik bu süreci otomatikleştirmek zor görünüyor. BV bir süre daha uzmanlara ihtiyacı var. Bu bir al-kur-sonuç-al işi değil... Bunun için deneyimli uzmanlara ihtiyaç var. Deneyim burada önde gelen unsur. Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı BV ile ilgili pek çok çözüm mevcut fakat tam otomasyon için yeni yaklaşımlara ve çözümlere ihtiyaç var. Kullanılan araçlar ne kadar iyi tanınıyor ve uzman deneyimi ne kadar yüksek ise verilerin kıymetlendirilebilmesi ve elde edilebilecek değerde o derece yüksek olacaktır. Değerlendirmelerimiz : 6 11.2.2016 Veri toplama yaklaşımlarını yenileme, değişken sayısını arttırma gibi 11.2.2016 BVnin Yeni Araçlara / Metotlara / Bunları Kullanan Uzmanlara İhtiyacı Var. Verilerin iç ve dış kaynaklı olması değeri arttıracaktır. Farklı veri gruplarının örtüştürülmesi farklı çıkarımların elde edilmesini sağlayacaktır. Önemli olan büyük veriler içerisinde büyük fırsatlar olacağını tam anlamıyla anlamak ve buna uygun hareket etmektir. Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Her kurum sahip olduğu verilerden değer elde edemeyebilir veya bu beklenen düzeyde olmayabilir. Standart veri çözümleri ile değer elde ediliyorsa, ve yeterli ise büyük veri analizi için beklemekte fayda olabilir. Bugün için değer elde edilmemiş olsa bile bunun sebebini bile bilmek ve gelecek için önlem almak ise diğer bir değerdir. Değerlendirmelerimiz : 8 Verilerin Çeşitli Olması Elde Edilecek Değerleri Artıracaktır. 11.2.2016 BVden Her Zaman Değer Elde Edilemeyebilir. 57 İnternet ve sensör teknolojilerinin gelişmesi, uygulamaların ve hizmetlerin artması ile BV analitiğine hemen hemen her kurumun ihtiyaç duyacağı açıktır. Kurumlar verileri olduğu sürece ayakta kalabilecek, amaçlarına iyi hizmet edebilecek, daha yüksek değer oluşturabileceklerdir. Bu bakış açısıyla kurum verileri toplanmalı, güvenli olarak saklanmalı, analiz edilmeli ve değerler elde edilmelidir. 24.02.2016 Değerlendirmelerimiz : 10 İyi Uygulamaların Geliştirilmesi ve Paylaşılması Safe Harbor Statement İyi uygulamaların paylaşılması bu konuya olan ilgiyi artıracak ve karşılaşılan problemlerin çözümünü hızlandıracaktır. Kamuda veri paylaşımının önü açılmalıdır. Konu uzmanlarının sayısı artırılmalıdır. Paylaşım için ortak bir platform oluşturulmalıdır. https://www.data.gov, https://www.govdata.de gibi Bu tür etkinliklerin sayısı arttırılmalıdır. The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 64 TEŞEKKÜR EDERİM Prof. Dr. Şeref SAĞIROĞLU Gazi Üniversitesi, Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümü Eposta: [email protected] HACİM Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı ÇEŞİTLİLİK BÜYÜK VERİ....? http://bigdatacenter.gazi.edu.tr 11.2.2016 HIZ 62 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Büyük Veri Büyük Dönüşüm Devamlılık Dr. Pelin Özbozkurt Oracle Büyük Veri Çözümleri Lideri, Türkiye ve Orta Asya Pelin.ozbozkurt @oracle.com Veriyi Topla Dönüşüm Veriyi Analiz Et Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 63 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 65 24.02.2016 44% Müşteri/Vatandaş Analizi 30% Operasyonel İyleştirme Büyük Veri Kullanım Alanları 26% Yeni İş Modelleri Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | #StrataHadoop - Oracle Big Data Architecture Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted Sağlık ve Sosyal Güvenlik Büyük Veri ile ilgili Doğru Bilinen Yanlışlar Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 68 •Sağlık Harcamalarını Azaltmak •Yasadışı İşlemleri (Fraud) Engellemek •Hastalık&Teşhis&Tedavi Arasındaki İlişkiyi Analiz Etmek •Hastalık risk tahmini/Riskli Bölgelerin Tespiti Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 71 KAMU GÜVENLİĞİ Büyük Veri ile İlgili Doğru Bilinen Yanlışlar! • Sosyal Medya Analizi 1. Veri boyutu? 2. Yapısal/Yapısal Olmayan Veri 3. Maliyet? Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 70 • Suç/Şüpheli/Yüksek Suç Riskine Sahip Bölgelerin Tespiti • Olay Tahminlemesi • Siber Suçların Tespiti/Önlenmesi • Gümrük Güvenlik Kontrol 69 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 72 24.02.2016 Enerji BÜYÜK VERİ ANALİZİ •Akıllı ve sürekli hizmet sağlayan modern enerji network sistemleri 2010 ile 2040 yılları arasında enerji tüketiminde beklenen artış: Gelişmiş ülkeler:%56 Gelişmekte olan ülkeler: %90 •Gerçek zamanlı peak/off peak enerji tüketiminin analizi ANALİZ ET DEĞER YARAT KARAR VER! •Kullanıcı şikayet yönetimi: Verilerin gerçek zamanli analizi ile şikayet gelmeden yerinde müdahale Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted VERİYİ KEŞFET 76 BÜYÜK VERİ ANALİZİ Akıllı Tenis Raketleri Gerçek zamanlı oyuncu performansı Vuruş hızı ve tekniğe göre kazanılan puan sayısı VERİYİ TOPLA & DÜZENLE Ürün bittikçe uyarı veren minibar Oda sıcaklık ayarını yapan akıllı klimalar Mobil cihazlara gönderilen oda kartları Akıllı park sistemleri ile daha kolay ve sorunsuz araç park etme Gerçek zamanlı trafik yoğunluğuna göre değişen otopark fiyatları Sürücüleri en yakın rotaya yönlendirme Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted VERİYİ TOPLA & DÜZENLE Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 73 Nesnelerin Analitiği ve Büyük Veri GÖRSELLEŞTİR Veri Rezervi : •Farklı kaynaklardan farklı formatta gelen veriler (text data, GPS datası, web logları vs) •Arşivleme •Canlı Soğuk Veri •Uzun Dönemli Veri- Analitik çalışmalar, trend analizi •Kaliteli ve Tutarlı Veri •Yüksek performans •Düşük Maliyet 74 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 77 BÜYÜK VERİ ANALİZİ VERİYİ KEŞFET Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 75 Veri Keşfi: •Bütün Veri •Veri Anormallikleri •Pattern Analizi •Kümeleme •Yüksek Kaliteli Analitik Çalışmalar ve Karar destek Sistemleri için Perfomanslı Ön Analizler Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 78 24.02.2016 BÜYÜK VERİ ANALİZİ ANALİZ ET BÜTÜN VERİ ile: Analitik Çalışmalar: •Bütün Veri ile Analitik •Trend Analizi •Tahminsel Modellemeler •Optimizasyon •Otomatize edilmiş İstatistiksel Modeller ve Karar Destek Sistemleri •Gerçek Zamanlı Analitik •Yüksek Perfomans Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential DAHA HIZLI GERÇEK ZAMANLI GÜVENİLİR 79 BÜYÜK VERİ ANALİZİ Oracle Büyük Veri Platformu Büyük Veri Yönetim Sistemi İŞ ANALİTİKLERİ BÜYÜK VERİ UYGULAMALARI Raporlama •Bütün Veri de Görsellik •Yüksek Perfomanslı İş Zekası Raporları DİKEY SEKTÖR z UYGULAMALARI VERİ KEŞFİ İŞ ANALİTİKLERİ VERİ REZERVUARI VERİ AMBARI VERİ KAYNAKLARI BÜYÜK VERİ YÖNETİMİ GÖRSELLEŞTİR Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 80 Oracle Büyük Veri Platformu BÜYÜK VERİ ile Etkin Karar Destek Sistemleri Veri &Metin Madenciliği Sosyal Ağ Analizi RAPORLAMA VERİ REZERVUARI BÜYÜK VERİ UYGULAMALARI ANALİZ ET Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | GÖRSELLEŞTİR •Uzun Dönemli, daha fazla hareket ile daha yüksek başarılı analitik modeller VERİYİ TOPLA&DÜZENLE •Güvenilir ve Performanslı Karar Destek Sistem Altyapısı Bağlı ve Entegre Kurumlardan Gelecek BÜTÜN Veri Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal VERİ KAYNAKLARI KEŞFET •DW kontrolünde olmayan, yeni gelen verilerin analizi •Ad Hoc Raporlama için Temel KARAR Veri İçindeki Yapı Uç Gözlemler Kural Bazlı Algoritmalar •Data Offload •Uzun Dönem (Sıcak) Arşiv 81 •Düşük Maliyet Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 82 24.02.2016 Oracle Büyük Veri Yönetim Sistemi VERİ REZERVUARI Cloudera Hadoop Oracle Big Data Connectors Oracle Big Data SQL Oracle NoSQL Oracle R Advanced Analytics for Hadoop Oracle Data Integrator Oracle R Distribution Big Data Appliance Apache Flume Oracle Database Oracle Database Oracle Industry In-Memory, Multi-tenant Models Oracle Industry Models Oracle Advanced Analytics Oracle Advanced Analytics Oracle Spatial & Graph Oracle Spatial & Graph Bul Gözlemle Dönüştür Keşfet Paylaş Exadata Oracle GoldenGate Oracle Data Oracle Oracle Event Integrator GoldenGate Processing VERİ KAYNAKLARI Oracle Event Processing VERİ AMBARI Oracle Big Data Discovery – Hadoop için görsel arayüz Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Big Data SQL 88 Oracle Büyük Veri Platformu Tüm veride SQL • Hadoop üzerinde SQL’in tüm özelliklerini kullanabilme • Tüm veride SQL sorgusu çalıştırabilme • Sonuçları Oracle veritabanı ile entegre edebilme Teknik Faydalar SQL Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | • Tamamen Önceden Entegre Edilmiş Bütünleşik Sistemler • Açık kaynak koduna Oracle tarafından verilen kurumsal destek • İlişkisel ortamların limitasyonlarının ortadan kaldırılması • Yeni teknolojiyi eski bilgi birikimiyle kullanabilme esnekliği: Big Data SQL • Büyük veri dünyası ile ilişkisel dünyanın bir araya getirilmesi: Big Data Connectors • Büyük veriyi yönetebilmenin en maliyet etkin yolu! Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle R Enterprise Tüm Veride Analitik İşlemler • Hadoop üzerinde analitik işlemler • R’ın gücünü ölçeklendirilebilir ve yüksek performanslı hale getirme • R konektörü sayesinde aynı R sorgularını veri tabanında da çalıştırabilme Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | R Oracle Big Data Appliance Bazı Güncel Örnekler Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 89 24.02.2016 Türkiye’nin önde gelen bankalarından biri İSPANYA Banka Müşteri DNA Pazarlama ve Satış için Bir Sonraki En İyi Aksiyon Analizi Hedefler • Müşteriyi daha yakından tanıma. • Müşterinin davranışsal verilerinin de analiz edilmesi. • Müşteriye daha uygun ürünün ve çözümün sunulması. • Müşteri memnuniyetini artırma • Müşterinin davranışsal verilerinin de risk parametrelerini hesaplamada kullanılması. • Tüm verilerin yüksek hızda analizi ve raporlanması. • Verilerin silinmemesi ve ileride olası analizlerde kullanılması. Hedefler • Gelirlerin çok yüksek oranda kişiselleştirilmiş öngörüsel analizler ile arttırılması. • Arttırılmış dönüşüm oranları ve hesap kıymeti için Akıllı Bankacılık. • Web sitelerinin, ATM’lerin, Kredi Kartlarının ve POS işlemlerinin gerçek zamanlı filtrelenmesi için Büyük Veri çözümünün sağlanması. • Gerçek zamanlı öğrenme ile her müşteriye önerilerde bulunulması. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 91 Türkiye’nin önde gelen telekom operatorlerinden biri Hedefler • Veri ambarı fonksiyonalitesini artırma. • Farklı verileri de analize dahil etme. • ETL performansını artırma. • Yapısal olmayan verileri inceleme ve saklama • Yeni analitiklerin üretilmesi ve iş birimlerinin kullanımına sunulması. • “Kum havuzu” uygulamasının iş birimlerinin kullanımına sunulması. Hedefler • Seyahat edenler ile hizmet sağlayıcıları arasındaki taleplerin tüm kanallar üzerinden karşılanması: “değilse, neden değil?” Analizleri. • Fiyat optimizasyonu yapılırken tüm tekliflerin yakalanarak BDA’ya kaydedilmesi. • Satış performansı üzerinde kullanılabilirlik (Availability) etkisinin yaratılması. • Pazar analizleri: rota olmaması sebebi ile satışta kapasite fazlası ve kayıp durumları Yeni tekliflerin yaratılması! Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 92 Sağlık Sigortası Değişim Platformu- ABD Genel Bakış • Eyalet Sağlık Sigortası Değişim Platformu. • Bu değişim Platformu ile halkın sağlık planlarını bulup karşılaştırabilecekleri ve kendilerine en uygun olan içeriktekileri seçebilecekleri bir sağlık sigortası pazar alanı yaratılması amaçlanmaktadır. Zorluklar/Fırsatlar • Büyük Veri mimarisi ölçeklenememektedir. • Kısa proje süreleri – 2 ay içinde Canlıya geçiş. • Cloudera HBase ile çok hızlı kurulabilecek bir platform ihtiyacı. • Canlı, Test ve DR ortamlarının eş zamanlı kurulum ihtiyacı. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 95 Basın – Hollanda Müşterini tanı, yeni servisler yarat Faydalar • Oracle BDA, diğer üretici çözümleri ile kıyaslandığında en etkin fayda/maliyet oranını sağlamaktadır. • Oracle BDA sıkışık proje sürelerini sağlayabilen tek çözüm olmuştur. • Oracle BDA çözümü mevcut Exadata ile InfiniBand üzerinden mükemmel şekilde entegre olmaktadır. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 94 Havayolu, Seyahat ve Ağırlama Çözümleri ABD Veri Ambarı Genişletme Sağlık Sigortası Değişim Platformu Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 93 Hedefler • İçeriğin dijital araçlar üzerinden piyasaya sürülmesi • Müşterilerin tanınması • Segmentasyon ve tekliflerin uygun hale getirilmesi – Tabanın büyütülmesi – Yeni müşterilerin cezbedilmesi . Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 96 24.02.2016 BÜYÜK VERİ: ORACLE TEKNOLOJİSİ ve UZMANLIĞI İLE... BÜYÜK VERİ KEŞİF ÇALIŞTAYLARI BÜYÜK VERİ PROJE PLANI BÜYÜK VERİ TEKNİK ALTYAPI ÖNERİSİ Büyük Veri Analitiği ve Güvenliği Kamu Çalıştayı Büyük Veri Güvenliği ve Mahremiyeti BÜYÜK VERİ TEKNİK ÇALIŞTAYLAR Yusuf TULGAR Donanma Şirketler Grubu, CEO email: [email protected] Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Büyük Veri İnternetin yaygınlaşmasından ve internetteki veri miktarının fazlalığından yola çıkarak her şeyi büyük veri olarak adlandırma yönünde bir eğilim vardır. Büyük veri, bilişim teknolojilerindeki ilerlemeler sonucunda veri saklama kapasitesinin ve işlem hızının artmasıyla ortaya çıkan 3V • Aşırı büyük veri hacmi (volume) • Yüksek veri hızı (velocity) • Çok geniş veri çeşitliliği (variety) ile tanımlanmaktadır. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Kamu Kurumlarında e-Devlet Projeleri e-devlet Projelerinden Bazıları • • • • • • • MERNİS TAKBİS UYAP VEDOP POLNET MEBSİS e-DEVLET KAPISI 24.02.2016 Kamu Kurumlarında Büyük Veri Mahremiyeti Kamu Kurumlarında Büyük Veri Güvenliği(Veri koruma) Kamu Kurumlarında Büyük Veri Güvenliği(Veri koruma) Kamu Kurumlarında Büyük Veri Güvenliği(Veri koruma) Kamu Kurumlarında Büyük Veri Güvenliği(Veri koruma) Kamu Kurumlarında Büyük Veri Bütünlüğünün Korunması Kamu kurumlarında, • Önemsiz veri yoktur. • Dijital ortamdaki her türlü veri değerlidir. • Kullanıcıların kişisel verileri kıymetlidir. • Saklanan veri kadar veri oluşturma, düzenleme, erişme, silme, çoğaltma, paylaştırma logları da önemlidir. • Bilgi işlem bölümlerindeki kullanıcılar ancak kendi yetkileri kapsamındaki verilere ulaşabilmelidir. • En yetkili-bilgili kişiler dahi başka kullanıcılara ait verilere ulaşamamalıdır. • Tüm veriler mümkün olduğunca merkezi sistemlerde saklanmalı ve bu sistemlerin her türkü erişim noktaları kontrol altına alınarak loglanmalıdır. Kamu kurumlarında, • Dijital ortamdaki tüm veriler (video, fotoğraf, ses, doküman, sistem ve veri tabanı yedekleri, mail vs.) kriptolu bir ortamda saklanmalı ve kripto anahtarlarının güvenliği sağlanmalıdır. • Veriler yatayda büyüyebilen merkezi İçerik Yönetim Sistemlerinde saklanmalıdır. (Mümkün olduğunca kullanıcı bilgisayarlarında veri tutulmamalıdır.) • Kullanıcılara güvenli ortak çalışma alanları sağlanmalıdır. • Kullanıcılar yetkileri dahilinde güçlü arama araçlarına sahip olmalıdır. • İhtiyaç durumunda kurum tarafından denetlenebilen güvenli veri paylaşım ortamları sağlanmalıdır. • Tüm verilerin eski versiyonlarına erişim sağlanabilmelidir. • Kamu kurumları ve taşra birimleri arasında güvenli veri taşıma sistemleri kurulmalıdır. • Mail ortamında veri taşıma operasyonları durdurulmalıdır. • Merkezi veri depolama alanlarında kullanıcı yetkilendirmesi yapılabilmelidir. • Kamu kurumlarının tüm verileri düzenli yedeklenmelidir.(Tam, Fark, Log Yedek) • Kamu verileri dosya sistemleri üzerinde saklanmamalıdır. • Kurum veri üzerinde • İşlem Tipi (ekleme, silme, düzeltme, okuma, kurtarma), İşlem Tarihi, Kullanıcı Adı, Adı Soyadı, Bilgisayar Adı, MAC Adresi, IP Adresi detayında log tutulmalıdır. • Veriler organize edilerek sistemler üzerinde güvenli bir şekilde taşınabilmelidir. Kamu kurumlarının, • Verilerinin saklandığı içerik yönetim sistemleri virüslerden etkilenmemelidir. • Verileri kullanıcıların yetkileri ile silinerek yok edilememelidir. • Verileri merkezi bir içerik yönetim sisteminde depolanırken dinamik indeksleme mekanizmaları ile indekslenebilmelidir. Bu sayede tüm veriler arşivlenirken anlamlandırılabilmelidir. • Tüm dosyaların eksiksiz hash (özet) bilgisi saklanmalıdır. • Verilerinin saklandığı içerik yönetim sistemlerinde, dosya içeriklerine göre arama yetenekleri olmalıdır. Kamu kurumlarında, • İçerik yönetim sistemleri kurumdaki tüm sistemler ile web servisleri üzerinden entegre edilebilmelidir. • İçerik yönetim sistemleri web, desktop, akıllı telefon teknolojilerini desteklemelidir. • İçerik yönetim sistemleri üzerinde depolanan veriler üzerinde detaylı istatistik verileri alınabilmelidir. • İçerik yönetim sistemleri üzerinde tutulan veriler kötü niyetli yetkili personeller tarafından kurum dışına çıkartılamamalıdır. Çıkartıldığında hiçbir veri anlamlı hale getirilememelidir. • İçerik yönetim sistemleri kurum içerisinden erişim sağlanabilecek özel bulut teknolojilerini destekleyecek yapıda kurulmalıdır. Tüm dış saldırılara karşı fiziksel olarak yalıtılmalıdır. • Diğer kamu kurum ve kuruluşları ve özel şirketler ile tüm veri paylaşımları, kurumun kendi kontrolümde olan genel bulut sistemlerinde tutulmalıdır. Kamu kurumlarında, • Tüm veriler merkezi içerik yönetim sistemlerinde saklanmalıdır. (Dijital Arşiv) • İçerik yönetim ve bilgi sistemlerinin yedekleri düzenli ve kontrollü alınmalıdır. (hash kontrol) • Tüm veriler ve veri hareketlerinin logları, zaman damgası ile damgalanmalıdır. • Arşivlenmiş dijital verilerin bütünlüğü tam koruma altına alınmalıdır. 24.02.2016 Kamu Kurumlarında Büyük Verinin Taşınması Kamu kurumlarında, • Dijital Arşivlere, ihtiyaç duyulan her noktadan kontrollü erişim sağlanmalıdır. • Dijital verilerinin taşınması sırasında, verilerin mutlaka kriptolu ortamlarda taşınması sağlanmalıdır. • Veriler kurumun kendi kontrolü altında, yüksek güvenlikli ağ altyapılarında taşınmalıdır. • Veri taşıma aşamasında verinin kopyalanması, ağın dinlenmesi önlenmelidir. Teşekkürler… Yusuf TULGAR Donanma Şirketler Grubu, CEO email: [email protected] Kamu Kurumlarında Büyük Verinin Yedeklenmesi • Kamu verileri, mutlaka Felaket Kurtarma Merkezlerinde düzenli yedeklenmelidir. • Tüm verilerin tam, fark ve işlem yedekleri düzenli olarak alınmalıdır. • Tüm veri yedekleri kriptolanarak saklanmalıdır. Büyük Veri Analitiği & Güvenliği Kamu Çalıştayı Dr. M. Umut DEMİREZEN STM Siber Güvenlik ve Büyük Veri Grup Yöneticisi [email protected] | @udmrzn UNCLASSIFIED Kamu Kurumlarında Büyük Veriyi Bekleyen İç ve Dış Tehditler, • Kamu kurumlarında kurum ve kullanıcı verileri – DropBox, Yandex Disk, Google Drive, OneDrive, WeTransfer vb. bulut depolama sistemleri ile – Gmail, Hotmail, Yahoo vb. mail gibi yabancı bulut sistemlerinde asla depolanmamalı paylaşılmamalıdır. • Kamu Kurumlarında Özel ve Genel Bulut Sistemleri kurulmalıdır. Bu sistemlerin kontrolleri tamamen kurumların kendi bilgi işlem alt yapılarında olmalı ve yabancı bulut servisleri üzerinde veri taşıma, saklama, paylaşma yapılmamalıdır. • Kamu kurumları büyük boyuttaki verilerin taşınması, saklanması, paylaştırılmasına olanak sağlayacak araçlara sahip olmalıdır. • Kullanıcılar USB bellek ve taşınır disk vb. her an çalınabilir, bozulabilir, çoğaltılabilir, kaybolabilir ortamlarda verilerini saklamamalıdır.
