Məlumat Saxlama Sistemlərinin müqayisəli təhlili
Hər il məlumat miqdarının artdığı dünyamızda şirkətlər məlumatlarını saxlamaq və idarə etmək üçün daim ən yaxşı həllər axtarırlar. Bu məqalədə dünyada və həmçinin ölkəmizdə tətbiq olunan 3 ən məşhur konsepti incələyəcəyik.
Məlumat anbarı və ya Data Warehouse
Məlumat anbarı və ya DWH strukturlaşdırılmış məlumatların saxlanması, emalı, axtarışı və analizi üçün nəzərdə tutulmuş mərkəzi anbardır. Müxtəlif məlumat mənbələrindən gələn məlumatlar ETL (Extract, Transform, Load) proseslər vasitəsilə gündəlik, həftəlik və ya aylıq əsasda anbara daşınaraq şirkətin mərkəzi data deposu rolunu oynayır. Məlumatlar anbara yüklənməzdən əvvəl təmizlənməli və transformasiya edilməlidir ki, analiz üçün istifadə edilə bilsin. Xüsusi bir əhəmiyyəti olmayan məlumatlar isə nəzərə alınmamalıdır. Məlumat anbarı nadir hallarda ən yeni məlumatları ehtiva edir. O, mənbə verilənlər bazalarından demək olar ki, hər zaman geri qalır.
Məlumat anbarı bir qayda olaraq analitika və hesabatlıq məqsədilə qurulur.Məlumatlar vahid mühitdə toplandığına görə istifadəçilər SQL-dən istifadə edərək asanlıqla istədikləri məlumatları əldə edə bilirlər. İndeksləmə (indexing) və ayırma (partitioning) kimi funksionallıqlar sayəsində məlumatları sorğulamaq çox sürətli baş verir.
Əsas üstünlükləri:
- Məlumat anbarlarından istifadənin əsas üstünlüklərindən biri təkmilləşdirilmiş hesabat və analiz imkanlarıdır. Bİ alətlər vasitəsilə istifadəçilər texniki biliklər olmadan da məlumatları əldə edə bilirlə
- Standartlaşdırılmış və təmizlənmiş məlumatlar istifadəçiləri əlavə işlərdən azad edərək vaxtlarını daha səmərəli istifadə etmələrinə imkan yaradır.
- Vahid mühitdən bütün şirkətin məlumatlarına giriş təmin olunduğu üçün məlumatların toplanmasına daha az vaxt sərf olunur.
Çatışmazlıqları:
- Məlumat anbarları strukturlaşdırılmış məlumatlar üçün nəzərdə tutulduğuna görə qeyri-strukturlu məlumatlarla işləmir (məsələn audio, video, səs yazıları)
- Fiziki strukturunun qurulması və böyük həcmli strukturlu məlumatların saxlanması maliyyə baxımından çox bahalıdır.
- Əsasən kommersiya məlumatları olduğu üçün xakerlərin maraq dairəsində olur. Bu da öz növbəsində xaker hücumlarına qarşı qorunma tələblərini artırır.
Məlumat gölü və ya Data Lake
Data Lake böyük həcmdə və müxtəlif mənbələrdən gələn xam, yarıstrukturlu və ya struktursuz məlumatların vahid bir mühitdə toplanmasına, lazım olduqda istifadə olunmasına imkan verən məlumat saxlama sistemidir. DWH-dan fərqli olaraq data lake məlumatları orijinal formatda saxlayır. Bu cür struktursuz məlumatlara şəkil, video, audio yazıları misal göstərmək olar.
Məlumatlar analiz məqsədilə lazım olduqda çıxarılır, yüklənir və transformasiya olunur. Bunun sayəsində data mühəndislər, data alimlər və digər istifadəçilər məlumatları istədikləri şəkildə əldə edib istifadə edə bilir. Hazırda istifadə olunan ən məşhur məlumat göllərinə HDFS, Amazon S3 və Azure Data Lake Storage sistemlərini nümunə göstərmək olar.
Əsas üstünlükləri:
- Məlumat gölləri məlumatı hər hansı bir formatda saxlamağa və ya onu orijinal formada saxlayaraq gələcəkdə yeni istifadə hallarından faydalanmağa imkan verir.
- Həm strukturlaşdırılmış, həm də qeyri-strukturlu məlumatları ehtiva edə bilər və bütün növ məlumatları saxlamaq üçün mərkəzi bir yer təmin edir.
- Məlumat strukturlaşdırılmasını tələb etmədiyi üçün saxlanma xərcləri məlumat anbarlarından daha ucuzdur.
Çatışmazlıqları:
- BI və digər analitika alətləri ilə inteqrasiyası çox çətin başa gəlir.
- Məlumatlar strukturlu olmadığına görə həssas məlumatların təhlükəsizliyini təmin etmək də çətindir.
Məlumat Gölü Evi və ya Data Lakehouse
Adından da göründüyü kimi, Məlumat Gölü Evi, məlumat göllərinin və məlumat anbarlarının ən yaxşı elementlərini birləşdirən arxitekturadır. Bu sistemdə həm strukturlu, həm də yarıstrukturlu və ya struktursuz məlumatları saxlamaq mümkündür. Məlumat gölü evində qeyri — strukturlu məlumatlar üçün məlumat anbarı kimi strukturlar və sxemlər istifadə edilə bilər. Lakin məlumat gölü evləri nisbətən yeni texnologiyadır və daha da inkişaf etdirilməlidir. Texnologiyanın hazırkı vəziyyəti onların bütün imkanlarını həyata keçirməyə imkan vermir.
Əsas üstünlükləri:
- Bütün növ məlumatlar bir mühitdən əldə olunduğuna görə məlumat gölü evlərini həm idarə etmək, həm də istifadə etmək daha rahatdır.
- Hər hansı alətdən istifadə edərək məlumatlara giriş imkanı verir, yalnız strukturlaşdırılmış məlumatları idarə edə bilən tətbiqlərlə məhdudlaşmır.
- Tableau və Power BI kimi ən populyar BI alətləri ilə inteqrasiya edilərək irəli analitika aparmağa imkan verir.
- Məlumat gölü kimi məlumat gölü evləri də daha az maliyyə xərcləri tələb edir.
Çatışmazlıqları:
- Məlumat gölü evinin düzgün dizayn olunması və idarə edilməsi yuxarıda qeyd etdiyimiz sistemlərə nəzərən daha çətindir.
- Yeni olduğu üçün universal dizaynlar hələ tam formalaşmayıb
Sadaladığımız sistemlər arasındakı fərqləri ümumiləşdirsək deyə bilərik ki, məlumat anbarındakı məlumatları istifadə etmək asandır, lakin saxlamaq çətindir. Məlumat gölü üçün isə əksi doğrudur: məlumatı qəbul etmək, saxlamaq asan, istifadə etmək, sorğulamaq isə çətindir. Göründüyü kimi Məlumat Anbarı, Məlumat Gölü və Məlumat Gölü Evi arasında seçim etmək təşkilatın spesifik ehtiyaclarından və məqsədlərindən asılıdır.
ABB olaraq biz strukturlaşdırılmış, tarixi məlumat analizləri üçün məlumat anbarı, xam məlumatların saxlanması və analizi üçün isə məlumat gölü istifadə edirik. Əsas məsələ məlumat idarəetmə strategiyasını təşkilatın məqsədləri və məlumat tələbləri ilə uyğunlaşdırmaqdır.
