Veri Ambarında Referans Mimariler: Dört Yaygın Konumlandırma Seçeneği

Veri odaklı karar alma süreçlerinin önemi arttıkça, organizasyonlar için güçlü ve sürdürülebilir bir veri ambarı mimarisi oluşturmak stratejik bir zorunluluk haline gelmiştir. Ancak her organizasyonun veri olgunluğu, iş süreçleri ve stratejik hedefleri farklı olduğundan, mimari seçimler de çeşitlilik gösterir.

Bu yazıda, veri mimarları, BI geliştiriciler ve CIO/CTO düzeyindeki karar vericiler için, veri ambarı mimarisinin dört yaygın konumlandırma yöntemini karşılaştırmalı olarak ele alıyoruz. Her yöntemin temel felsefesini, avantajlarını, sınırlamalarını ve hangi tür organizasyonlara uygun olduğunu detaylı bir şekilde değerlendiriyoruz.

Veri Ambarı Konumlandırma Seçenekleri

Veri ambarı konumlandırma seçenekleri, organizasyonların veri yönetimi stratejilerine ve iş süreçlerine göre farklılık gösterir. İşte en yaygın dört konumlandırma seçeneği:

1. Dimensional Data Marts:

   • Bu yöntemle bir iş süreci veya iş alanı için özel olarak tasarlanmış, dimensional model tekniklerine uygun data martlar oluşturulur.
   • Böylece tasarımı sadeleştirme, performans, yönetebilirlik ve güvenlik gibi ihtiyaçlara cevap verebilen bağımsız analitik yapılar oluşur.
   • Bu konumlandırma Kimball metodolojisinin Bottom-Up yaklaşımının bir uygulamasıdır.
   • Bu yapının dezavantajı zamanla veri entegrasyonunun zorlaşması, veri tekrarı ve veri tutarsızlıklarının ortaya çıkmasıdır.
   • Departmanların birbirinden bağımsız farklı zamanlarda hızlı çözüm beklediği, merkezi veri stratejisi olmayan organizasyonlarda sıkça tercih edilir.

   

2. Corporate Information Factory:

   • Bu yöntemle organizasyonun tüm verileri tek bir merkezi veri ambarında toplanır. Ardından bu merkezi veri ambarından farklı iş alanlarına yönelik dimensional model tekniklerine uygun data martlar oluşturulur.
   • Böylece verilerin merkezi olarak yönetilmesi, tutarlılık ve entegrasyon sağlanır. Hem merkezi verilerle şirketin genel stratejisine hizmet edilir hem de iş alanlarına özel raporlama ve analiz ihtiyaçları karşılanır.
   • Bu konumlandırma Inmon metodolojisinin Top-Down yaklaşımının bir uygulamasıdır.
   • Bu yapının dezavantajı, merkezi veri ambarının oluşturulması ve yönetilmesi için daha fazla zaman ve kaynak gerektirmesidir.
   • Buradaki merkezi veri ambarı, 3NF veya 6NF benzeri bir normalizasyon tekniği ile tasarlanmış olabilir.
   • Kurumsal veri stratejisi olan, veri yönetimi olgunluğu yüksek organizasyonlarda tercih edilir.

   

3. Central Dimensional Data Warehouse:

   • Bu yöntemle organizasyonun tüm verileri merkezi bir veri ambarında dimensional model tekniklerine uygun tutulur. Veri ambarı kendi içinde data martları barındırır.
   • Böylece veri tekrarını önleyen, performanslı ve daha az yer kaplayan analitik bir yapı ortaya çıkar.
   • Bu konumlandırma Kimball metodolojisinin Bottom-Up yaklaşımının kurumsallaştırılmış bir uygulamasıdır.
   • Bu yapının dezavantajı, merkezi veri ambarının oluşturulması için daha fazla analiz ve iş birimleri ile iş birliği gerektirmesidir. Eksik bilgi veya yanlış anlama durumunda, veri ambarı tasarımında kısmi olarak yıkıp yeniden inşa etme ihtiyacı doğabilir. Verinin yetkisiz gözlerden korunması için güvenlik önlemleri de alınmalıdır.
   • Kurumsal veri stratejisi olan, veri yönetimi olgunluğu yüksek ve olgunlaşmış iş süreçlerine sahip organizasyonlarda tercih edilir.

   

4. Federated Hub-and-Spoke:

   • Bu yöntemle farklı iş alanlarına yönelik data martlar oluşturulmakla birlikte merkezi bir veri ambarına da yer verilir.
   • Hem iş alanlarının bağımsız şekilde analiz edilmesi, hem şirketin genel stratejisine uygun analizlerin yapılması sağlanır.
   • Bu konumlandırmada Hub ile merkezi veri ambarını, Spoke ile iş alanlarına yönelik data martları işaret edilmektedir. Fedareted ile de bu iki yapının entegrasyonu işaret edilir. Bu entegrasyon çift veya tek taraflı ve zayıf bir bağ ile yapılır.
     • Zayıf bağdan kastımız ETL, ELT, ELTL şeklinde veri taşımaktan daha çok veri sanallaştırmasıdır. Sorgulama sırasında veri fiziksel olarak taşınmadan kaynak sistemlerden gerçek zamanlı ve sorgu anında çekilir.
     • Bu entegrasyonu sağlayan katman genellikle veri sanallaştırma araçları ile oluşturulur. Bu araçlar; bir ürün, bir ek engine, API veya bir iş zekası platformu olabilir.
   • Bu yapının dezavantajı, veri entegrasyonunun karmaşıklaşması ve performans sorunlarının ortaya çıkabilmesidir. Ayrıca, veri sanallaştırma araçlarının lisans maliyetleri de göz önünde bulundurulmalıdır.
   • Grup şirketleri, çok uluslu organizasyonlar ve farklı iş alanlarına veya farklı IT sistemlerine sahip organizasyonlarda tercih edilir.

   

Karşılaştırma Tablosu

Aşağıdaki tabloda, yukarıda açıklanan dört veri ambarı konumlandırma seçeneğini karşılaştırıyoruz:

Sonuç

Veri ambarı mimarisi seçimi, yalnızca teknolojik bir karar değildir; aynı zamanda organizasyonun veri olgunluğu, iş süreçlerinin entegrasyon ihtiyacı ve stratejik yönelimleriyle doğrudan ilişkilidir. Yukarıda incelediğimiz dört yaklaşım da farklı avantajlar sunar; ancak her biri, doğru yerde ve doğru zamanda kullanıldığında etkili olabilir.

CIO/CTO, veri mimarları ve BI geliştiriciler için önerimiz, bunların referans mimariler olduğunu bilip organizasyonel ihtiyaçları ve uzun vadeli stratejiyi göz önünde bulundurarak esnek, yönetilebilir ve sürdürülebilir bir mimari tercih etmeleridir.

Ek Kaynaklar

Polybase engine ile Azure Synapse Analytics, Azure Fabric ve MSSQL üzerinde veri sanallaştırması konusunda bilgi edinmek için aşağıdaki videoya bir göz atabilirsiniz: Data Virtualization in Azure Synapse Analytics with SQL Pool (Data Revolution 2021 Web Seminerleri)