Veri Ambarı Kurulumu Ne Kadar Sürer ve Bütçesi Neye Göre Değişir

Süre ve bütçe sorusu teknoloji seçiminden önce gelir

Bir işletme veri ambarı kurulumu için teklif istediğinde, teslim tarihini ve bedeli belirleyen şey çoğu zaman seçilen veritabanı ya da bulut sağlayıcısı değildir. Belirleyen şey, verinin bugün nerede durduğu ve kimin ondan sorumlu olduğudur. Aynı büyüklükteki iki şirketten biri işi birkaç haftada devreye alırken, diğeri aylarca kaynak dosyalarını temizlemekle uğraşabilir. İkisi de aynı ürünü kullanıyor olabilir; fark, hazırlık tarafındadır.

Bu yazı, "ne kadar sürer" ve "ne kadar tutar" sorularına tek bir rakamla cevap vermeye çalışmıyor. Bunun yerine, o rakamı yukarı ya da aşağı çeken değişkenleri tek tek açıyor. Sonunda kendi durumunuza bakıp hangi bandın içinde olduğunuzu kabaca kestirebilecek, teklif isterken de doğru soruları sorabileceksiniz.

Konuyu mimari tarafından merak ediyorsanız katman katman veri ambarı mimarisi yazısı işin teknik iskeletini anlatıyor. Burada ise takvim ve bütçe konuşuyoruz.

Veri Ambarı Kurulumu Kaç Aşamadan Oluşur

Takvimi anlamak için işin nasıl parçalandığını bilmek gerekiyor. Bir veri ambarı projesi, sırayla ilerleyen ve birbirinin çıktısına bağlı beş aşamadan oluşur. Aşamalardan biri beklerse arkasındakiler de bekler; bu yüzden gecikmeler tek noktada birikmez, zincire yayılır.

• Kaynak envanteri: Verinin hangi sistemlerde durduğu çıkarılır. Muhasebe programı, e-ticaret paneli, saha ekibinin doldurduğu tablolar, kargo firmasının paneli, bazen de tek bir kişinin bilgisayarındaki dosya. Envanter, projenin en çok küçümsenen ama takvimi en çok belirleyen adımıdır.
• Erişim ve izin: Her kaynağa okuma yetkisi alınır. Kendi sunucunuzdaki veritabanı için bu bir saatlik iştir; dışarıdan aldığınız bir yazılımın verisi için tedarikçiyle yazışma, sözleşme maddesi ve bazen ek modül satın alma anlamına gelir.
• Veri modeli: Ölçülecek şeyler (ciro, adet, iade, tahsilat) ve bunların kırılımları (ürün, bölge, temsilci, tarih) tanımlanır. Bu aşama yazılımdan çok karar işidir ve şirketin kendi terimlerini netleştirmesini gerektirir.
• Aktarım hattı: Kaynaklardan veriyi çekip temizleyen ve ambara yazan otomatik akış kurulur. Hattın ne sıklıkla çalışacağı, hata durumunda kimi uyaracağı ve eksik veriyi nasıl işaretleyeceği burada belirlenir.
• Raporlama katmanı: Panolar, tablolar ve otomatik gönderilen özetler hazırlanır. Kullanıcı ambarı burada görür; öncesindeki her şey görünmezdir.

Bu beş aşamanın ilk üçü hazırlık, son ikisi yapım tarafıdır. Deneyimimizde takvimin çoğu ilk üçte harcanır, bütçenin çoğu ise son ikisinde görünür. İki tarafı ayrı ayrı düşünmek, hem planlamayı hem de teklif karşılaştırmasını kolaylaştırır.

Veri Ambarı Kurulumu Nerede Uzar: Beş Somut Tıkanma Noktası

Aşamaları bilmek yetmiyor; işin nerede takıldığını da bilmek gerekiyor. Sahada tekrar tekrar karşımıza çıkan tıkanmalar şunlar:

• Aynı şeyin iki farklı tanımı. Satış ekibinin "ciro" dediğiyle muhasebenin "ciro" dediği tutmuyorsa, hangi tanımın ambara gireceğine karar verilene kadar hat kurulamaz.
• Kaynağa erişimin bir kişiye bağlı olması. Şifreyi bilen tek kişi izne çıktığında proje durur. Bu, teknik değil kurumsal bir tıkanmadır ve genellikle en uzun süren beklemedir.
• Geçmiş verinin dağınık olması. Eski yılların kayıtları farklı formatlarda, farklı sütun adlarıyla duruyorsa, her dosya ayrı bir küçük proje hâline gelir.
• Elle doldurulan tabloların kuralsız olması. Serbest metin alanına yazılmış şehir adları, tarih yerine yazılmış notlar, birleştirilmiş hücreler; bunların hepsi aktarım hattında ek iş demektir.
• Karar mercinin toplantıya gelememesi. Veri modeli onayı gecikirse yapım tarafı boş bekler. Haftada yarım saatlik düzenli bir onay toplantısı, bu tıkanmayı tek başına çözer.

Bu beş maddenin dördü teknik değil. Bir veri ambarı kurulumu teklifini değerlendirirken, karşı tarafın bu konuları konuşup konuşmadığına bakmak, sunulan teknoloji listesine bakmaktan daha çok bilgi verir.

Takvimi belirleyen dört değişken

Süreyi tahmin ederken dört şeye bakıyoruz. Dördü de sizin tarafınızda; hiçbiri yazılım seçimiyle ilgili değil.

Kaynak sayısı. Tek bir muhasebe veritabanından beslenen bir pano ile beş ayrı sistemden veri toplayan bir yapı arasındaki fark, katlanarak artan bir farktır. Her yeni kaynak yalnız kendi bağlantısını değil, diğerleriyle eşleşme işini de getirir. Aynı müşterinin iki sistemde farklı yazılmış adı, tek başına günler yiyebilir.

Veri kalitesi. Kayıtlar düzenli girilmişse aktarım hattı hızlı kurulur. Boş bırakılmış zorunlu alanlar, tekrar eden kayıtlar ve serbest metne yazılmış kategoriler varsa, temizlik kuralları yazmak asıl işten uzun sürebilir.

Geçmişe dönük kapsam. Yalnız bugünden itibaren toplamak ile son birkaç yılı da içeri almak çok farklı iki iştir. Geçmiş veri genellikle farklı bir yapıda durur ve bir kereye mahsus taşıma işi olarak ayrı planlanır.

Karar hızı. Veri modeli onayı, hangi raporun kime gideceği, hangi tanımın geçerli olacağı gibi kararlar sizin tarafınızda verilir. Bu kararlar hızlı verilirse takvim kısalır; bu yüzden proje başında tek bir karar sahibi belirlemenizi öneriyoruz.

Kabaca söylemek gerekirse: tek kaynaklı, düzenli veriyle çalışan ve geçmişe dönük yük istemeyen bir kurulum haftalarla ölçülür. Çok kaynaklı, dağınık veriyle çalışan ve yılların kaydını içeri alan bir kurulum aylarla ölçülür. Arada kalan her senaryonun yeri, yukarıdaki dört değişkenin nasıl dizildiğine bağlıdır.

Bütçe hangi kalemlerden oluşur

Bir veri ambarı maliyeti tek kalem değildir; üç ayrı cepten çıkar ve üçü farklı ritimde ödenir.

Bir kerelik kurulum işçiliği. Envanter, model tasarımı, aktarım hattı ve ilk panolar. Bu kalem doğrudan yukarıdaki dört değişkenle ölçeklenir. Kaynak sayısı ve temizlik yükü arttıkça büyür, azaldıkça küçülür.

Altyapı gideri. Ambarın çalıştığı sunucu ya da bulut hizmeti, yedekleme alanı ve varsa raporlama aracının lisansı. Bu kalem aylıktır ve veri hacmiyle birlikte yavaşça artar. Küçük ve orta ölçekli bir yapıda genellikle kurulum işçiliğinin yanında küçük kalır, ama görmezden gelinecek kadar da küçük değildir.

Süregelen bakım. Kaynak sistemler değişir; tedarikçi panelini günceller, muhasebe programı sürüm atlar, yeni bir satış kanalı eklenir. Aktarım hattı bunlara uyum sağlamazsa sessizce eksik veri taşımaya başlar. Bakımı bütçelemeyen projeler ilk yıl içinde güvenilirliğini kaybediyor.

Somut rakamlar konusunda bu sayfada oyun oynamıyoruz: kalem kalem seçim yaparak kendi tutarınızı fiyat hesaplayıcıda görebilirsiniz. Hesabı sunucu tarafında yaptığımız için orada gördüğünüz tutar, teklif aşamasında karşınıza çıkacak tutarla aynı mantıkla üretilir. Kapsamı henüz netleşmemiş işlerde ise doğrudan rakam vermek yerine durum tespitiyle başlıyoruz; ölçmeden fiyat söylemek, sonradan iki tarafı da zorlayan bir alışkanlık.

Aşamalı başlamak neden hem süreyi hem riski düşürür

En sık yaptığımız öneri, işi tek parça hâlinde değil dilim dilim devreye almak. Bütün kaynakları aynı anda bağlamak yerine, en çok soru sorulan tek konuyu seçip onu uçtan uca çalıştırıyoruz: örneğin yalnız satış verisi, yalnız tek bir kanal, yalnız bir pano.

Bunun üç somut faydası var. Birincisi, ilk pano birkaç hafta içinde ekranda olur ve ekip veriyle çalışmayı erkenden öğrenir. İkincisi, model hataları küçükken ortaya çıkar; on kaynağın bağlanmasından sonra fark edilen bir tanım hatası, tek kaynakta fark edilenden çok daha pahalıdır. Üçüncüsü, bütçe zamana yayılır ve her dilimin sonunda devam edip etmemeye bakarak karar verirsiniz.

Aşamalı yaklaşım, veri ambarı kurulumu işini bir "büyük proje" olmaktan çıkarıp yönetilebilir parçalara böler. İş zekası raporlama tarafında da aynı şey geçerli: kimsenin açmadığı yirmi panoyu hazırlamak yerine, her hafta gerçekten bakılan üç panoyu doğru kurmak daha değerli.

Ambarın gerçekten gerekip gerekmediğinden emin değilseniz, hangi durumda gerekli olduğunu anlatan yazı eşiği daha net çiziyor. Bazı işletmeler için doğru cevap, ambar değil düzgün kurulmuş tek bir raporlama katmanı oluyor.

Projeye başlamadan önce şirket içinde yapılabilecekler

Takvimi kısaltmanın en ucuz yolu, işi bize devretmeden önce kendi tarafınızda birkaç şeyi hazır etmek. Bunların hiçbiri teknik bilgi gerektirmiyor ve hepsi projenin hazırlık aşamasından gün kazandırıyor.

• Kaynak listesini yazın. Hangi bilgi hangi programda duruyor, kim giriyor, ne sıklıkla güncelleniyor. Tek sayfalık bir liste bile envanter aşamasını belirgin biçimde kısaltıyor.
• Terim sözlüğü çıkarın. Ciro, iade, aktif müşteri, teslim edilmiş sipariş gibi terimlerin şirket içindeki tanımını yazıya dökün. Aynı kelimeye iki ekibin farklı anlam yüklediği yerler burada ortaya çıkar.
• Erişim yetkilerini önceden isteyin. Dış tedarikçilerden veri okuma izni almak bazen haftalar sürüyor. Bu yazışmayı proje başlamadan başlatmak, en sık karşılaştığımız beklemeyi ortadan kaldırıyor.
• İlk soruları belirleyin. Panoda ilk gün görmek istediğiniz üç soruyu yazın. Kapsam bu üç soruyla çizilirse veri ambarı kurulumu çok daha küçük ve öngörülebilir bir işe dönüşüyor.

Bu hazırlığı yapan işletmelerde ilk iki aşama hızlanıyor, çünkü konuşulacak konular zaten konuşulmuş oluyor. Yapılmadığında ise proje teknik olarak değil, karar bekleyerek gecikiyor.

Planlamada en sık görülen üç hata

Her şeyi ilk sürüme sığdırmak. Bütün departmanların bütün raporlarını aynı anda istemek, projeyi uzatmanın en garanti yolu. İlk sürüm ne kadar dar olursa geri bildirim o kadar erken gelir.

Veri temizliğini projenin dışında saymak. Temizlik bir ön koşul değil, işin kendisidir. Kaynak kayıtları düzensizse bu yük bir yerde ödenir; teklifte görünmüyorsa takvimde görünür.

Sahipsiz bırakmak. Devreye alındıktan sonra hattı kimin izleyeceği belirlenmezse, bozulan bir bağlantı haftalarca fark edilmiyor ve panolar sessizce yanlış rakam gösteriyor. Bu, veri ambarı kurulumu sonrasında güveni en hızlı yıkan durum; çünkü kimse yanlış olduğunu bilmeden karar veriyor.

Üç hatanın ortak noktası, işi bir yazılım kurulumu gibi düşünmek. Oysa ambarın değeri kurulduğu gün değil, altıncı ayda hâlâ doğru rakamı gösterdiği gün ortaya çıkıyor.

Biz bu işi nasıl yürütüyoruz

Çalışma biçimimiz bilerek sade. Önce kaynakları ve veri kalitesini yerinde ölçüyoruz; kaç sistem var, hangileri okumaya açık, hangi alanlar boş, tekrar eden kayıt oranı ne. Bu ölçüm olmadan verilen süre tahmininin tahminden fazla bir değeri yok.

Ölçümün ardından veri modelini birlikte yazıyoruz. Bu adımda teknik terim değil, sizin kendi terimlerinizi kullanıyoruz: sizin "aktif müşteri" tanımınız neyse ambarda o duruyor. Model onaylandıktan sonra aktarım hattını kuruyor, hattı izleyen uyarıları açıyor ve ilk panoyu teslim ediyoruz. Teslimden sonra hattın çalışmaya devam etmesi bakım kapsamına giriyor.

Veri ambarı danışmanlığı tarafında en çok değer kattığımız yer genellikle ilk iki hafta oluyor: doğru soruları sorup kapsamı daraltmak, projenin geri kalanının maliyetini belirliyor. Hizmetin kapsamını ve neyin dahil olduğunu veri ambarı hizmet sayfamızda kalem kalem yazdık.

Mevcut bir yapının üzerine geliyorsak, önce onu kırmamaya bakıyoruz. Çalışan raporları kapatıp yerine yenisini koymak yerine, yeni hat kurulup doğrulanana kadar ikisini paralel çalıştırmak daha güvenli bir yol. Aradaki farkları karşılaştırmak, çoğu zaman eski raporda kimsenin fark etmediği hataları da ortaya çıkarıyor.

Kendi takviminizi çıkarmak için ilk adım

Elinizde şu üç bilgi varsa gerçekçi bir süre ve bütçe konuşabiliriz: hangi sistemlerden veri alınacağı, geçmişe dönük ne kadar kayıt isteneceği ve ilk aşamada hangi soruların cevaplanacağı. Bu üçü netse ilk görüşmede bir çerçeve çıkarmak mümkün oluyor; net değilse ilk işimiz zaten bunları netleştirmek olur.

Kapsamınızı yazıp teklif formundan iletin; kaynaklarınıza ve beklentinize göre aşamalı bir plan çıkaralım. Ölçmeden söz vermiyoruz, ölçtükten sonra da söylediğimiz takvimin arkasında duruyoruz.