Big data haqqında bilmədiklərimiz....
Mayk Lukidi : “Gələcək, verilənləri məhsula çevirə biləcək insan və kompaniyalara məxsus olacaq”.
Günümüzdə tənbəl insanlardan başqa hamı Big Datadan danışır, amma insanların doğrudan da onun nə olduğu və necə işlədiyi haqqında məlumatlı olub-olmaması böyük sual doğurur.
2009-cu ildə "Donuz qripi" (H1N1 virusu) adlanan epidemiya, 1918-ci ildə İspan qripi epidemiyasının dəhşətli xatirələri səbəbiylə dünya ictimaiyyətində ciddi narahatlığa səbəb olduğu dönəmlərdə “Google” Nature adlı elmi jurnalda mühüm bir araşdırma yayınlandı. Araşdırmanın mahiyyəti insanların internet vasitəsilə apardığı axtarışlara əsaslanan riyazi modellərlə qripin ABŞ-da hansı bölgələrdə və hansı sıxlıqda yayıldığını müəyyən etmək idi. İnsanlar qrip simptomları başlayandan bir neçə gün sonra xəstəxanalara müraciət etdikdə, xəstələrlə məşğul olan tibb müəssisələrinin əlindəki məlumatların sağlam olmadığı qənaətinə gəlindi. “Google” nəhəng verilənlər bazası və məlumatları emalı qabiliyyəti ilə, Amerikanın səhiyyə orqanlarına nisbətdə daha effektiv və operativ şəkildə xəstəliyin yayılması haqqında məlumat əldə edə bildi. Bunun üçün 450 milyon fərqli riyazi model istifadə edildi və axtarış şərtləri 2007 və 2008-ci illərdə faktiki qrip halları ilə müqayisə edildi. Nəticədə 45 axtarış termini və rəsmi yayılma dərəcələri arasında çox güclü bir əlaqə tapıldı.
Bütün kompüterlər 50 il əvvəl insan həyatına girsə də, toplanan məlumatların miqdarı son bir neçə ildə bu cəhətdən böyük dəyişikliklərə səbəb olacaq səviyyəyə çatdı. Genom adlanan genetik xəritəmiz 2003-cü ildə tərtib edildi, ancaq 3 milyard cüt halqanın çeşidlənməsi təxminən 10 il çəkdi. Bu gün bu sayda DNT nömrələri cəmi bir gündə çeşidlənə bilər.
Qərar vermə proseslərinizə dərhal təsir göstərmək və düzgün qərar vermək üçün məsələn, səhiyyə ilə bağlı strateji qərarlar verən bir dövlət qurumu bölgələrin, vilayətin, rayonun bütün məlumatlarının əlində olması lazımdır ki, təfərrüatlarında xəstəliklərin, dərmanların, həkimlərin paylanmasını dərhal görə bilsin.
Hərbi Hava Qüvvələri bütün hava inventarlarında nəqliyyat vasitələrinin ani yerlərini və vəziyyətlərini görə bilmək və onların istismar tarixlərini izləməyi bacarmalıdır.
Bank kredit verəcəyi şəxsin nəinki fərdi məlumatlarını, hətta yemək və tətil etmək vərdişlərini izləməyi bacarmalı, lazım olduqda sosial şəbəkələrdə nə etdiyini də görməlidir.
Bu məqalədə sizin üçün big data ən sadə şəkildə izah ediləcək.
Baxılan yanaşmaları da nəzərə almaqla bu qənaətə gəlmək olur: “Mövcud texnologiyaların, metodların və alqoritmlərin köməyilə toplanılması, saxlanılması, analizi və vizuallaşdırılması çətin və ya mümkün olmayan verilənlər çoxluğuna “Big data” deyilir. Rəqəmsal dəyişimlərin, süni zəka daxil olmaqla, data science (verilənlər haqqında elm) və Internet of things (əşyaların interneti) də daxil olmaqla böyük dalğası bütün sənayeni silkələyir.
Bu gün həyatın bütün sahələrində informasiya cəmiyyətinin elementlərini görmək mümkündür. İndi hər kəsin cibində smartfon, hər kəsin evində kompüter və bütün şirkətlərin arxa ofislərində informasiya texnologiyasını idarə edən bölmələr var. Bu gün təkcə informasiya miqdarı artmayıb, eyni zamanda informasiya əldə etməyin sürəti də artıb. Verilənlərin məna ifadə edəcək şəkildə toplanması ilk növbədə astronomiya və genetika sahəsində baş verib. Big data anlayışı isə əvvəlcə bu sahələrdə istifadə edildi, sonra bu anlayış hər bir sahə üçün istifadə olunmağa başladı Big data indi həyatımızın hər sahəsində özünü göstərməyə başlayır. Məsələn; İnternet axtarış motoru “Google”başa olmaqla xəstəliklərin diaqnozu və müalicəsinə, onlayn alış-verişə qədər hər yerdə Big Data-ya rast gəlir.
Son dövrlərin ən populyar mövzularından biri olan Big Data texnologiyası gündən-günə inkişaf edir. Əslində biz bu texnologiyanı illər əvvəl bilmədən istifadə edirdik. Texnologiyanın inkişafı ilə İnternet də inkişaf etdi. Beləliklə, İnternetdə “kirli informasiya” sayılan milyonlarla məlumat ortaya çıxdı. Bu səbəbdən proqram şirkətləri Big Data adlı bir texnologiyanı ortaya çıxarmaq üçün bu mövzuda çalışdılar.
Big Data-Sosial media paylaşımları, bloqlar, fotoşəkillər, videolar, log faylları kimi müxtəlif mənbələrdən toplanan bütün verilənləri, mənalı və emal oluna bilən bir formaya çevirir. Log fayllar bütün hərəkətlərin bir-bir qeyd olunduğu fayllardır. Məsələn, bir veb serverdəki log fayllarını araşdıraraq ziyarətçilərin haradan gəldiyini və veb serverə nə sorğu göndərdiklərini asanlıqla başa düşmək olar. Log faylları problem analizi üçün yaxşı bir vasitəçi ola bilər. Məsələn, kompüterinizin əməliyyat sistemindəki gündəlik qeydlərini araşdıraraq problemin sistemdə niyə baş verdiyini öyrənə və həll edə bilərik. Əvvəllər geniş yayılmış hesablama inancına görə, strukturlaşdırılmamış verilənlər dəyərsiz “kirli informasiya “ idi, lakin Big data bizə həmin bu “informasiya zibilliyindən” xəzinə tapmağımıza kömək edən yeganə bir sistem yaratdı. Bu gün yeni bir virus pandemiyası ilə üz-üzəyik. Yenə hər gün sosial şəbəkələrdə müxtəlif dezinformasiya və “ kirli informasiya ”ilə rastlaşırıq.
Gündəlik həyatımızda ehtiyac duyduğumuz “Google” - böyük verilənlərin istifadəsinə nümunələrdən biridir. Məsələn, “Google”da xidmətlərdən istifadə edərkən Big Data yaradırıq. İstifadə etdiyimiz telefondakı Android əməliyyat sistemi, Android cihazının yerləşdiyi nöqtələr “Google”-da Big Data yaradır. Yəni, bu cihazda istifadə etdiyiniz əməliyyatlar, daxil olduğunuz sənədlər və olduğunuz yerlər verilənlər kimi istifadə olunur.
Facebook ayda 2.45 milyard aktiv istifadəçisinə sahibdir və istifadəçiləri tərəfindən istehsal olunan bütün məlumatları emal edir. Səhifənin bəyənmələri, şəkilləri, foto paylaşımı, vaxtı izləyən reklamlar və s. Bütün istifadəçilərinin axtarış vərdişləri, yeri, dili və digər məlumatları qeyd edir və işləyir. Gün ərzində dünyada 4.5 milyard internet istifadəçisi tərəfindən istehsal olunan bu məlumatın ölçüsünü təsəvvür etməyə çalışın. Big Data-bu deməkdir
Hər gün idarə etmək daha çətinləşən böyük verilənlərlə yeni vasitələr hazırlanır. 2020-ci ildən dən sonra kompüter və verilənlər haqqında elm ilə əlaqəli bir çox sahədə məşğulluq partlayışı gözlənilir. Böyük verilənlərlə artan qarışıqlığı aradan qaldırmaq və verilənləri emal etmək üçün texniki işçilərə ehtiyac daim artır. Proqramlaşdırma dilləri, verilənlərin vizuallaşdırılması, süni intellekt və maşın təlimi, verilənlər bazaları, Data Mining böyük verilənlərlə gələn məşğulluq imkanlarından ən çox faydalanacaq sahələr kimi qeyd edilir. Bunlar bu gün və xüsusilə gələcəkdə qızıl dövrü yaşayacaq peşələrdir.
İnternetin ən vacib töhfələrindən biri, şübhəsiz ki, məlumat əldə etmək nöqtəsidir. İnternet üzərindən kitab araşdırmaq və ünvana çatdırmaq istədiyimiz şəkildə çatdırmaq İnternetlə müqayisədə çox vacib bir töhfədir. Ayrıca, “Google” kimi şirkətlər tərəfindən kitabların rəqəmsallaşdırılması kitablara qoyulan məhdudiyyətləri aradan qaldırır. İnternet vasitəsilə məlumat toplamaq yalnız passiv bir kolleksiyaçı olmaqdan daha yüksəkdir.
İnternetin mənfi təsirlərindən bəhs edərkən, şəxsi həyatımızın gizliliyinə müdaxiləsini qeyd edə bilərik . Facebook, sosial əlaqələrimiz, “Google” -axtarış vərdişlərimiz, Twitter zehnimiz və e-ticarət saytlarımız, alış-veriş vərdişlərimiz də daxil olmaqla nə istədiyimizi bilir. Mobil operatorlar kimlə söhbət etdiyimizi, hətta tətilimizi və boş vaxtlarımızı kimlə keçirdiyimizi və hansı dosta yaxın olduğumuzu bilirlər.
Big Data platformasının formalaşmasında beş əsas komponent var. bunlar; çeşidlilik, sürət, həcm, doğrulama və dəyərdir. Ümumiyyətlə 5V (bəzi mənbələrdə 3V) olaraq izah edildiyi üçün İngilis dilindəki ekvivalentləri də daxil edilə bilər.
• Variety (Çeşitlilik): • Velocity (Sürət): • Volume (Həcmi): • Verification (Doğrulama): • Value (Dəyər):
IDC statistikasına görə, 2020-ci ildə əldə ediləcək məlumatların miqdarı 2009-cu ilə nisbətən 44 dəfə artacaqdır.
• Təhsil; tədris proseslərinin fərdiləşməsində -Big data öyrənmə analitiklərindən istifadə olunmaqla işlənir və təlim prosesləri öyrənmə ehtiyaclarına, davranışlarına və nümunələrinə uyğun olaraq tərtib edilə bilər.
• Xəstəxanalar; xəstələrini effektiv, fərdiləşdirilmiş, tibbi xidmətlər göstərmək üçün fərdi məlumatları öz rəqəmsal mühitində saxlayırlar.
• Hökumətlər; öz vətəndaşları üçün məlumat və xidmətləri geniş miqyaslı verilənlər üzərində işləməli və saxlamalıdırlar.
• Bankların, istifadəçilərinə aid topladıqları məlumatlar vasitəsilə istifadəçisini tanıyan, İnternetdən nə üçün istifadə etdiyini bilən və buna görə ana səhifəni və menyunu ən təsirli hala gətirən, müştərisinə xəbərdarlıqlar edən, zəngin məzmunlu, sürətli və faydalı 7/ 24 xidmət göstərən filialları yarandı.
• Enerji şirkətləri abunəçilərinin ağıllı şəbəkələr və sayğaclardan istifadə etməsi ilə bağlı məlumatları saxlamalı və emal etməlidirlər.
• Əczaçılıq sənayesində; məsələn, "xərçəng tədqiqatı" üçün yaradılan böyük genom məlumat bazaları tədqiqatçılar üçün davamlı olaraq əlçatan olmalıdır.
"Rəqəmsal Kainat 2020" adlı araşdırma bu il təxminən 40 trilyon gigabayt məlumat əldə edəcəyimizi söyləyir.
Onu qeyd edim ki, Big Data həm də bir problemdir. Problemlər isə öz növbəsində onu aradan qaldırmaq üçün müvafiq həllər tələb edir. Bu həlləri biz Big Data texnologiyaları adlandırıq. "Big Data nə kimi bir problem ola bilər ki?"
• "«Google»"da hər saniyədə 40000, gündə 3.46 milyon və ildə 1.2 trilyon axtarış həyata keçirilir.
• Hər dəqiqə Facebookda təxminən 31.25 milyon mesajlaşma və 2.77 milyon video izlənməsi həyat keçirilir.
•"Youtube"a hər dəqiqə təxminən 300 saatlıq video yerləşdirilir.
2014-cü ilin oktyabrında Mavriki adasında məlumatların və şəxsi həyatın qorunması məsələləri ilə bağlı keçirilmiş beynəlxalq konfransın məqsədi Big Data-nın və Əşyaların İnternetinin insanların gündəlik həyatına müsbət və mənfi təsirlərini müzakirə etmək, məlumatların toplanması və istifadəsi ilə bağlı risklərin azaldılması üçün prinsiplərin müəyyən edilməsi və tövsiyələrin hazırlanması idi. Konfransda bəyan olunmuşdur ki, Əşyaların İnterneti qurğuları Big Data ilə birlikdə insan həyatını asanlaşdırır, amma bu texnologiyaların vətəndaşların şəxsi həyatına müdaxiləsi və onların hüquqlarının pozulması ilə bağlı böyük təhlükələri mövcuddur. Konfransın yekun bəyannaməsində Big Data istifadəçilərinə aşağıdakılar tövsiyə olundu:
-hansi məlumatların toplandığı, onların necə emal olunduğu, hansı məqsədlər üçün istifadə ediləcəyi, üçüncü şəxlərə verilib-verilməyəcəyi ilə bağlı məsələlər şəffaf olmalıdır;
-informasiyanın toplanmasının məqsədi bilavasitə onu toplayan zaman müəyyən olunmalıdır və informasiyanın təyin olunmuş məqsəddən kənar istifadəsi istisna edilməlidir;
-informasiyadan istifadə üçün razılıq alınmalıdır;
informasiya qeyd olunan qanuni məqsədlərin reallaşdırılması üçün zəruri olan sayda toplanmalı və saxlanmalıdır;
-məlumatları əldə edilən şəxslər onlardan necə istifadə olunduğu barədə məlumatlandırılmalıdır;
-insanlara öz informasiyasına düzəliş etmək və onu idarə etməyə imkan yaradılmalıdır;
-informasiyanın toplanmasının insanların şəxsi həyatına necə təsir etdiyi analiz edilməlidir
Bu texnologiyaların faydalarını nəzərə alaraq, qanunvericilik səviyyəsində şəxsi təhlükəsizliklə ictimai maraqlar arasında həssas balans yaratmaq lazımdır
Sevinc Paşayeva
NDU İnformatika kafedrasının baş müəllimi