ETL, (Extract, Transform, Load) “Çıkar, Dönüştür, Yükle” anlamına gelen ve genellikle bir veya birden fazla veri tabanında tutulan verileri bir veri ambarına aktarmakta kullanılan yöntemdir.
ETL platformları onlarca yıldır kurumsal altyapının kritik bir bileşenidir.
Ancak bulut sistemler ve büyük verilerin ortaya çıkması, yeni veri kaynaklarının ve akışlarının sayısında bir patlama yarattı. Buna bağlı olarak daha güçlü ve sofistike veri entegrasyonu için talepler arttı. Firmalar ister şirket içinde ister bulutta olsun gerçek zamanlı veri işleme, veri zenginleştirme, milyarlarca işlem gerçekleştirme yeteneği ve herhangi bir kaynaktan yapılandırılmış veya yapılandırılmamış veriler için çözümler istemeye başladı.
ETL’nin kısa bir tarihi
ETL, büyük işletmelerin bordro sistemleri, satış kayıtları, envanter sistemleri ve benzeri farklı veri türlerine sahip birden fazla kaynaktan bilgi toplamaya ve depolamaya başladığı 1970’lerde ortaya çıktı. Bu verilerin doğal olarak takip edilmesi ihtiyacı ETL’nin gelişimine zemin hazırlamıştır.
Veri ambarı 1980’lerde moda oldu. Bu veritabanı türü birden çok kaynaktan gelen verileri entegre edebilir durumdaydı. Sorun, birçok veri ambarının kaynak sisteme özel ETL uygulaması gerektirmesiydi. Bu nedenle, pek çok işletmenin birden fazla ETL çözümü kullanması gerekiyordu ve bunlar birbirleri ile entegre değildi.
Zaman geçtikçe, veri kaynaklarının ve türlerinin sayısı önemli ölçüde arttı. Bu doğal olarak ETL için kullanılan uygulama sayısında da bir artışa neden oldu. Bu artış ile birlikte ETL uygulamları orta pazar için uygun bir çözüm haline geldi ve şirketlerin modern, veri ile güçlendirilmiş işletmeler kurmasına yardımcı oldu.
ETL süreci nasıl çalışır?
Hem tuğla, harç işleri ile uğraşan hem de eticaret ile uğraşan bir perakendeciyi hayal edin. Herhangi bir şirket gibi, bu şirketin de tüm işi boyunca satış eğilimlerini analiz etmesi gerekir. Ancak bu iş dalları için sistemlerinin ayrı olması muhtemeldir. Farklı alanları veya aynı alanın farklı biçimleri olabilir (gün-ay-yıl tarihleri ile ay-gün-yıl tarihleri gibi). Birbirleriyle “konuşamayan” sistemler kullanabilirler. Bu durumlarda ETL devreye giriyor. Farklı kaynak sistemlerine bağlanarak, buradaki verileri veri ambarının biçim gereksinimlerini karşılayacak şekilde dönüştürüyor ve sonra veri ambarına yüklüyor.
İşte üç aşamanın dökümü:
- Çıkarma (Extraction), bir veya daha fazla kaynaktan veri alma işlemidir. Verileri aldıktan sonra, ETL verileri hazırlama alanına yükler ve sonraki aşamaya hazırlar.
- Dönüşüm (Transformation) kritik bir işlevdir, çünkü veri entegrasyonunun yolunu açar. Farklı kanallara sahip bir perakendecinin önceki örneği gibi, dönüşüm yeniden biçimlendirmeyi içerebilir. Ancak bazen bu adımda başka tür dönüşümler de söz konusudur: örneğin, para miktarlarının ABD dolarından Avroya dönüştürüldüğü hesaplama gibi.
- Yükleme(Loading) işlemi, gelen verilerin hedef veritabanına, veri deposuna veya veri ambarına başarıyla eklenmesini içerir.
ETL Kullanım Örnekleri:
Cloud Migration
Şirketler verilerini ve uygulamalarını buluta taşıdıklarında, işleme bulut geçişi denir. Şirketler genellikle paradan tasarruf etmek, uygulamalarını daha ölçeklenebilir hale getirmek ve verilerini güvence altına almak için bunu yapar. ETL, verileri buluta taşımak için yaygın olarak kullanılır.
Data Warehousing
Veri ambarı, çeşitli kaynaklardan gelen verilerin iş amacıyla toplu olarak analiz edilebilmesi tutulduğu bir veritabanıdır. ETL genellikle verileri bir veri ambarına taşımak için kullanılır.
Machine Learning/AI
Makine öğrenimi, analitik model oluşturmayı otomatikleştiren bir veri analizi yöntemidir. ETL, makine öğrenimi için verileri tek bir konuma taşımak için kullanılabilir.
Marketing Data Integration
Pazarlama entegrasyonu, pazarlama, müşteri verileri, sosyal ağ verileri ve web analizi gibi tüm pazarlama verilerinizi tek bir yere taşımayı içerir, böylece verileri analiz edebilirsiniz. ETL, pazarlama verilerini bir araya getirmek için kullanılır.
IoT Data Integration
IoT, Nesnelerin İnterneti anlamına gelir ve makinelerde ve trafik ışıklarındaki sensör gibi diğer fiziksel nesnelerde gömülü olan sensörler ve aktüatörler tarafından toplanan verileri kullanan bağlı cihazların ve sistemlerin kullanılmasını ifade eder. ETL, verileri çeşitli IoT kaynaklarından analiz edebileceğiniz tek bir yere taşımanıza yardımcı olabilir.
Database Replication
Veri çoğaltma, kaynak veritabanlarınızdan (Oracle, MySQL, Microsoft SQL Server vb.) verileri alır ve bunları bulut veri ambarınıza kopyalar. Verilerinizi güncellemek için bir kerelik bir işlemde olabilir sürekli devam eden bir süreçte olabilir. Verileri çoğaltmak için ETL kullanılabilir.
Business Intelligence
İş zekası, yöneticilerin ve diğer paydaşların bilinçli iş kararları vermesini sağlamak için verileri analiz etme işlemidir. ELT, verilerin işlenebilir olması için bu verileri tek bir yere getirmek için kullanılabilir.
Sonuç olarak ETL:
- Biçimsiz ve yeni veri kaynaklarını hızla ve kolayca entegre edebilecek kadar esnektir
- Büyük miktarda veriyi gerçek zamanlı olarak işleyebilir, hızlı analizleri mümkün kılar
- Ölçeklendirmesi kolaydır
- Tamamen yönetilebilir
- Güvenlidir
