VEBIAN aktarım seçenekleri dokümanı

FABREKA YAZILIM ELEKTRONİK DANIŞMANLIK TİC. LTD. ŞTİ.
VEBIAN V1.8
AKTARIM SEÇENEKLERİ
DOKÜMANI
04.12.2016
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
İçindekiler
Amaç ve Kapsam ..................................................................................................................................... 2
Veri Aktarım Seçenekleri......................................................................................................................... 3
Tüm Kayıtları Yeniden Aktar ............................................................................................................... 3
Yeni Eklenen Kayıtları Aktar ................................................................................................................ 3
Tüm Kayıtları Arşiv Olarak Aktar ......................................................................................................... 4
Yeni Eklenen Kayıtları Arşiv Olarak Aktar ............................................................................................ 4
Değişen Kayıtları Arşiv Olarak Aktar ................................................................................................... 5
Veri Aktarım Planlama ............................................................................................................................ 6
Harici Aktarım Araçları ............................................................................................................................ 8
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
1
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Amaç ve Kapsam
Bu belgenin amacı, Vebian yazılımına veri aktarılırken kullanıcılabilecek yöntemlerin
açıklamalarının sunulmasıdır.
Vebian veri aktarım seçenekleri, açıklamaları, veri aktarım zamanlamalarının belirlenmesi
harici ETL araçlarının nasıl kullanılabileceği bu dokümanın kapsamındadır.
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
2
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Veri Aktarım Seçenekleri
Farklı veri kaynaklarında bulunan verilerinizi belirleyeceğiniz aralıklarla ve belirleyeceğiniz
kurallar ile Vebian veri tabanına aktarabilmeniz için yazılım temel fonksiyonları sunmaktadır.
Verilerinizin ilk aktarımını yaptığınızda “Aktarım Seçenekleri” bölmünde varsayılan olarak
“Tüm Kayıtları Yeniden Aktar” seçeneği işaretlidir.
Tüm Kayıtları Yeniden Aktar
Varsayılan olarak kullanılan seçenektir. Aktarılmış verilerin tamamı silinerek veri kaynağında
bulunan bilgiler yeniden aktarılır.
Yeni Eklenen Kayıtları Aktar
Veri kaynağınıza yeni eklenen kayıtları aktarmanızı sağlar.
Aktarılmış veriler korunur. Veri kaynağına yeni eklenen kayıtlar alınarak eski verilerin üzerine
eklenir.
Bu seçeneği kullanmak için, “Otomatik Artan Birincil Anahtar Sütunu” belirlenmelidir. Bu
seçenek içinde veri kaynağınızda bulunan sayısal alanlar listelenir. Veri kaynağınızda otomatik artan
bir alan bulunmuyor ise, veri kaynağınızın “Trigger” ve varsayılan değer gibi seçeneklerini kullanarak
oluşturabilirsiniz.
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
3
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Oluştur tuşuna bastığınızda sorgular şu şekilde değiştirilir:
Sorgu
Şema Sorgusu
SELECT * FROM TabloAdi WHERE SutunAdi > {PrimaryColumnLastValue}
;
{PrimaryColumnLastValue} değişkeni yazılım tarafından aktarım sırasında, daha önce
aktarılmış son kaydın otomatik artan sütunu ile değiştirilir.
Tüm Kayıtları Arşiv Olarak Aktar
Veri kaynağında bulunan kayıtları her seferinde farklı bir tabloya arşiv olarak aktarır.
Aktarılmış veriler korunur. Veri kaynağından tüm veriler alınarak 'TabloAdı_Zaman'
formatında yeni bir tabloya aktarılır.
Oluştur tuşuna bastığınızda sorgular şu şekilde değiştirilir:
Sorgu
Şema Sorgusu
CREATE TABLE `TabloAdi_{DateTime}` (
…
…
)
{DateTime} değişkeni yazılım tarafından zaman değişkeni olarak yyyyMMddHHmmss
formatında belirlenir.
Yeni Eklenen Kayıtları Arşiv Olarak Aktar
Aktarılmış veriler korunur. Veri kaynağına yeni eklenen veriler alınarak 'TabloAdı_Zaman'
formatında yeni bir tabloya aktarılır.
Bu seçeneği kullanmak için, “Otomatik Artan Birincil Anahtar Sütunu” belirlenmelidir. Bu
seçenek içinde veri kaynağınızda bulunan sayısal alanlar listelenir. Veri kaynağınızda otomatik artan
bir alan bulunmuyor ise, veri kaynağınızın “Trigger” ve varsayılan değer gibi seçeneklerini kullanarak
oluşturabilirsiniz.
Oluştur tuşuna bastığınızda sorgular şu şekilde değiştirilir:
Sorgu
Şema Sorgusu
SELECT * FROM TabloAdi WHERE SutunAdi > {PrimaryColumnLastValue}
CREATE TABLE `TabloAdi_{DateTime}` (
…
…
)
{DateTime} değişkeni yazılım tarafından zaman değişkeni olarak yyyyMMddHHmmss
formatında belirlenir.
{PrimaryColumnLastValue} değişkeni yazılım tarafından aktarım sırasında, daha önce
aktarılmış son kaydın otomatik artan sütunu ile değiştirilir.
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
4
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Değişen Kayıtları Arşiv Olarak Aktar
Aktarılmış veriler korunur. Veri kaynağında değişen veriler alınarak 'TabloAdı_Zaman'
formatında yeni bir tabloya aktarılır.
Bu seçeneği kullanmak için, “Güncelleme Zamanı Sütunu” belirlenmelidir. Bu seçenek içinde
veri kaynağınızda bulunan tarih alanları listelenir. Veri kaynağınızda otomatik güncellenen bir tarih
alanı bulunmuyor ise, veri kaynağınızın “Trigger” ve varsayılan değer gibi seçeneklerini kullanarak
oluşturabilirsiniz.
Oluştur tuşuna bastığınızda sorgular şu şekilde değiştirilir:
Sorgu
Şema Sorgusu
SELECT * FROM TabloAdi WHERE SutunAdi > {TrackColumnLastValue}
CREATE TABLE `TabloAdi_{DateTime}` (
…
…
)
{DateTime} değişkeni yazılım tarafından zaman değişkeni olarak yyyyMMddHHmmss
formatında belirlenir.
{TrackColumnLastValue} değişkeni yazılım tarafından aktarım sırasında, daha önce aktarılmış
son kaydın güncelleme zamanı sütunu ile değiştirilir.
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
5
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Veri Aktarım Planlama
Aktarılmış olan verilerinizin değişim durumuna ve almak istediğiniz raporlara göre aktarım
zamanlarını yazılım üzerinden planlayabilirsiniz.
Görevler menüsünde “Yeni Görev” listesinden Aktarım seçilerek zaman ve aktarılacak veri
kaynakları girilir.
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
6
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
7
[VEBIAN AKTARIM SEÇENEKLERİ DOKÜMANI] 04 Aralık 2016
Harici Aktarım Araçları
Yazılım ETL(Extract Transform Load) süreçlerinin temel fonksiyonlarını üzerinde
barındırmaktadır. Birçok durumda harici bir ETL aracına ihtiyaç duyulmayacak şekilde verilerinizin
aktarımını sağlayabilmektedir.
Aktarım sırasında verileriniz üzerinde değişiklik yapmak istediğinizde SQL komutlarını
kullanabilirsiniz. Buna rağmen verinin doğrulanması, başka sistemler ile karşılaştırılması ve karışık
fonksiyonlar ile düzenlenmesi gerektiği durumlarda harici bir ETL aracı da kullanabilirsiniz.
Vebian analitik veri tabanı bağlantı altyapısında kolon tabanlı veri tabanı kullanmaktadır.
Kullanılan veri tabanı, ön yüz olarak MySql standart yapısını sunmaktadır. Bu nedenle harici ETL
araçları ile çalışırken, MySql veri kaynağına bağlandığınız standartlar ile Vebian veri tabanına bağlantı
kurabilirsiniz.
Verilerinizi CSV formatında oluşturacağınız bir dosya ile atabilirsiniz veri tabanına
aktarabilirsiniz. Analitik veri tabanı için kullanabileceğiniz SQL komutları şunlardır:
-
CREATE TABLE table_name
DROP TABLE table_name
LOAD DATA INFILE '/path/o/your/file.txt' INTO TABLE table_name
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
FABREKA Yazılım Elektronik Danışmanlık Tic. Ltd. Şti.
8