Grid Bilgi Sistemleri - TR-Grid

Grid Bilgi Sistemleri
(Grid Information Systems)
TR-Grid Kullanıcı Eğitimi
(9-10 Temmuz 2007)


Hakan Bayındır
Bu Sunumda

Grid Bilgi Sistemleri

gLite Bilgi Sistemi

GLUE Şeması


Grid Elemanları
LCG Bilgi Sistemi

Hiyerarşi

LDAP Modeli
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Bu Sunumda

RGMA

Genel Bakış ve Mimari

Üreticiler ve Tüketiciler

R-GMA Gezgini
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Grid Bilgi Sistemleri
Nedir?


Grid kaynakları hakkında bilgi toplar

Yeni eklenen kaynakları bulur

Yük ve stabilite durumunu kontrol eder
Topladığı bilgiyi yayınlar

Periyodik olarak günceller

İyi bilinen bir veri yapısı kullanır.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Grid Bilgi Sistemleri
Kimler Kullanır?
Grid bilgi sistemleri



Kaynak arayan kullanıcılar
Grid işlerini homojen şekilde dağıtmakla yükümlü olan işyükü
yönetim servisi (WMS – Workload Management Service)
Gridi gözlemlemekle yükümlü olan diğer servisler
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
gLite Bilgi Sistemi

Temel bir veri yapısı üzerine kuruludur


Grid Laboratory Uniform Environment (GLUE) şeması
gLite 3, iki ana mimari barındırır


LCG Bilgi Sistemi

Globus MDS üzerinde BDII

OpenLDAP arayüzü

LCG-2 ile uyumluluğu korur.
İlişkisel Grid İzleme Mimarisi (R-GMA)

Global Grid Forumu'nun GMA standardı üzerine kuruludur

Bilgiyi ilişkisel SQL veritabanlarında saklar

Web servisi olarak hizmet verir
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
gLite Bilgi Sistemi
GLUE Şeması

Grid kaynaklarını ve aralarındaki ilişkiyi gösteren bir
objeler ve özellikler şemasıdır.




EU-DataTAG ve US-iVDGL koordinasyonu ile geliştirilmiştir.
Şu anda EGEE, OSG, Globus ve Nordugrid desteklemekte ve
kullanmaktadır.
Dinamik ya da statik olarak sağlanan grid verisini hiyerarşik
bir biçimde, herhangi bir altyapıya bağlı kalmadan
gösterebilir.
Şu anki versiyonu (1.2) XML, LDAP ve ClassAd (Condor
tarafından kullanılır) kullanmaktadır.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
gLite Bilgi Sistemi
GLUE Şeması – Site Elemanı
1
*
Site
Servis
Aynı organizasyonun sahip
olduğu ve aynı yönetici
tarafından yönetilen
kaynaklardır. Sitenin konumu,
yöneticisi, ana sayfası gibi
bilgileiri bulundurur
Kurulu web servisi hakkındaki
bilgileri içerir.WS'in URI adresi,
WSDL dökümanı, liste
yöneticileri vb...
1
1
*
Depolama Elemanı
*
Küme
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
gLite Bilgi Sistemleri
GLUE Şeması – Küme Elemanı
Küme
1
Uç
Heterojen kaynaklar topluluğu.
Geçici ve paylaşılmış dizinler
hakkındaki bilgileri tutar
1
*
Alt-Küme
Heterojen kaynaklar topluluğu.
Geçici ve paylaşılmış dizinler
hakkındaki bilgileri tutar
1
Uçlar ile ilgili detaylı statik
bilgileri tutar.Bu bilgiler kurulu
olan yazılımlar, işlemci
mimarisi, disk kapasitesi, ağ
* bağüdaştırıcısı vb. dir. Aynı
zamanda uç bilgisayarların bazı
iyi bilinen performans ölçüm
yazılımlarına ait olan değerler
üzerinden performanslarını da
saklar.
*
*
Hesaplama Elemanı
Konum
Kurulu yazılımlar ve bu
yazılımların yerleri ile ilgili
bilgileri tutar.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
gLite Bilgi Sistemi
GLUE Şeması – Hesaplama Elemanı
Bilgi
Hesaplama Elemanı
İş zamanlaması ile ilgili kaynaklar,
varsayılan depolama elemanı vb.
hakkındaki statik bilgileri tutar.
Kuyrukların soyut görünüşünü sağlar
Politika
Çalışan işler ile ilgili politikayı tutar.
(Maksimum işlemci zamanı, aynı anda
çalışacak en fazla iş vb.)
Sanal Organizasyon
Sanal organizasyon hakkındaki bilgileri
* (üyeler, erişim hakları ve kaynaklar)
tutar.
Erişim Kontrolü
Erişim Kontrolü ile ilgili kurallarrı
saklar.
Durum
İş
İşin hangi kuyruğa ait olduğu, sahibi,
ID si ve durumu ile ilgili bilgileri tutar.
*
Çalışan işler hakkındaki dinamik
bilgileri (boş işlemci sayısı, bütün
işlerin bitmesi için gerekliğ zaman vb.)
tutar.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
LCG Bilgi Sistemi
Hiyerarşi - I


Kaynak seviyesi: Grid Kaynağı Bilgi Sunucusu (GRIS)

Her CE, SE, RB ve MyProxy sunucusu üzerinde bulunur.

Betikler ve sensörler aracılığı ile statik ve dinamik veri toplar.
Site seviyesi: Grid Bilgi İndeksleme Sunucusu (GIIS)



GRISlerden toplanan verileri derler.
LCG2 den itibaren yerini BDII sunucusuna bırakmıştır ve
sBDII olarak anılır.
En üst seviye: Berkeley VT Bilgi İndeksi (BDII)

Sanal organizasyonlardan gelen verileri toplar.

sBDII (GIIS) ve GRIS lerden gelen verileri tutar.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
LCG Bilgi Sistemi
Hiyerarşi - II
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
LCG Bilgi Sistemi
Bilgi Toplama

Bilgi toplama:



Çekilerek toplanır (üst sunucular alt sunucuları periyodik
olarak sorgularlar)
Bütün sunucular verileri LDAP modeli üzerinde tutarlar.

Hiyerarşiktir

LDAP Veri Formatı (LDIF) kullanır
Bilgi sorgulama:


Genel uygulamalar:

ldapsearch, BDII web, grafik arayüzlü LDAP sorgu araçları ile

GRIS ve GIIS lere direkt sorgu yolu ile.
lcg-infosites ve lcg-info komutları ile.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
RGMA
Genel Bakış


Veriye ulaşmak isteyen
tüketici, verinin
üreticisini kayıt defterinde
arar.
Tüketici, üretici ile
bağlantı kurarak ihtiyacı
olan veriyi üreiticiden alır.
Üretici
Veri Transferi

Üretici, ürettiği verinin
yerini kayıt defterine
kaydeder.
Tüketici
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Veri konumu
kaydı
Kayıt Defteri
Veri konumu
sorgusu
RGMA
Şema, Kayıt Defteri ve Arabulucu



Şema tablo isimlerini, yapılarını ve bu tablolara ait
erişim kurallarını sanal bir veritabanında tutar.
Kayıt defteri bu tabloya veri sağlayan bütün üreticiler
hakkındaki detayları ve bu tabloları kullanan düzenli
tüketicilerin bilgilerini sanal bir veritabanında tutar.
Arabulucu ise herhangi bir sorguya cevap vermek için
hangi kaynağa başvurulmasının gerekli olduğuna karar
veren kullar bütünüdür.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
RGMA
Üreticiler

Üreticiler sanal veritabanına veri sağlayan kaynakların
tümüne verilen isimdir. Üreticiler verileri tam bir satır
halinde yazarlar (böylece verinin her zaman tam olması
sağlanır. Üç tür üretici vardır:



Birincil Üreticiler: Düzenli olarak veri üretirler ve sanal
veritabanına yazarlar. Tüketiciler sorgu ile son yazılan veriye
ulaşabilirler.
İkincil Üretici: Veri üretmez veya yazmazlar. Sorgu yapıldığı
zaman gerekli bilgiyi birincil üreticiye sorarak ya da keydedilmiş
veriyi sorgulayarak elde eder ve tüketiciye gönderirler.
Talep Bazlı Üretici: Sorgu geldiği zaman veriyi birinci üreticiden
almak yerine 3. parti bir kullanıcı kodunu sorgulayarak elde ederler
ve tüketiciye gönderirler.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
RGMA
Tüketiciler

Tüketiciler, üreticilerin üretip kaydettiği verilere ihtiyaç
duyan ve bu verileri sorgular vasıtası ile alan
kullanıcıların genel adıdır. Üç temel tür tüketici vardır.



Devamlı Tüketici: Bu tüketiciler kayıt defterine kayıtlıdırlar
ve yeni veri gelir gelmez kendilerine haber verilir. Böylece yeni
veri hazır olur olmaz ellerinde olur.
Son Tüketici: Son tüketiciler sadece en yeni bilgi ile
ilgilenirler ama veri güncellemelerinden hablerdar edilmezler.
Herhangi bir zamanda ihtiyaçları olan veriyi kayıt defterinden
sorgular, bulur ve alırlar.
Geçmiş Tüketici: Bu tüketici türü son tüketici ile aynı
olmasına rağmen geriye dönük bilgileri de sorgulayarak
dönemsel bilgiler talep eder.
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
RGMA
RGMA Gezgini
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Grid Bilgi Sistemleri
Sorularınız?
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)
Teşekkürler
TR-Grid Kullanıcı Eğitimi (9-10 Temmuz 2007)