البيانات الضخمة و التطبيقات العملية

في وقت قصير و خلال كتابة هذا المقال، تم انشاء العديد من التيرابايت من البيانات. فما هي البيانات الضخمة و ما هي تطبيقاتها العملية و لماذا نحتاج الي البيانات الضخمة. هل البيانات الضخمة عبارة عن برنامج أو منتج أو نهج عمل. سنحاول جاهدين تغطية العديد من هذه المواضييع و غيرها في هذا المقال.

لماذا البيانات الضخمة؟

ببساطة، الهدف الرئيسي من طرح مبدأ البيانات الضخمة هو حل المشكلات التي تواجهها كلمة “ضخمة”. كانت حلول البيانات التقليدة المقدمة من أوراكل و غيرها، متاحة دائمًا وتتوافق مع احتياجات المؤسسة. على الرغم من أن البنية التحتية والأجهزة والمعالجة النواح المتعلقة بالوقت والتكلفة تمثل تحديًا دائمًا. من ناحية أخرى، يصبح نمو البيانات جزءًا من المعادلة نتيجة لوجود الشبكات الاجتماعية وأجهزة الاستشعار والأجهزة المتصلة. حيث إن الحاجة إلى تحليل البيانات في الوقت الفعلي واتخاذ القرار مطلوبة بشكل متزايد. منذ ذلك الحين تطورت الحاجة إلى حلول البيانات الضخمة.

قدمت البيانات الضخمة حلولاً للتغلب على التحديات التي تواجهها زيادة حجم البيانات وتنوعها. توسيع نطاق البنية التحتية مكلف وليس دائمًا الحل الصحيح لتحليل البيانات في الوقت الفعلي. يعد التقسيم و الاتساق والحوسبة الموزعة جزءًا من الحل ولكن مع حل وسط. وفقًا لنظرية CAP، لا يمكن ضمان الحصول على الأجزاء الثلاثة في وقت واحد (الاتساق والتوافر والتقسيم). لذا فإن تقنيات البيانات الضخمة ومجتمع المصادر المفتوحة وقواعد بيانات NoSQL قدمت حلولًا مختلفة لتطبيقات مختلفة.

ما هي البيانات الضخمة؟

لا يوجد حديث عن البيانات الضخمة بدون ذكر حرف V بالانجليزية. من المثير للاهتمام عدد أحرف V التي حددها منتجو التكنولوجيا. في هذا الموضوع سيتم تغطية سبعة (7) مصطلحات كلها تبدأ بحرف V. هناك ثلاثة مؤشرات رئيسية في البيانات الضخمة: هي الحجم، والتنوع، والسرعة، بالاضافة الى أربعة اصطلاحات أخرى.

الحجم: تتزايد البيانات بمعدل عالي جداً، بمآت تيرابايت كل يوم.

السرعة: يتم تحميل بيانات كل جزء من الثانية، وكل دقيقة؛ تم إنشاء معظم بيانات الموجودة في العالم اليوم في العامين الماضيين.

التنوع: هو عنصر أساسي حيث أن البيانات غير المهيكلة والتغريدات والصور ومقاطع الفيديو مع مصادر البيانات الأخرى قد وفرت نطاقًا جديدًا ولكنها أيضًا فوائد، وبالتأكيد تعقيدات وتحديات للبيانات الضخمة.

المتغير: البيانات تتغير باستمرار، لا سيما البيانات التي تعتمد على معالجة اللغة.

الصدق: النتائج جيدة مثل البيانات المعالجة، لذا ستصبح قيمة البيانات الضخمة عديمة القيمة إذا لم تكن دقيقة.

التصور: بمجرد معالجتها، يمكن الوصول إلى البيانات وتصورها بواسطة الرسوم البيانية.

القيمة: مبادرات البيانات الضخمة في نظام الرعاية الصحية والقطاعات الأخرى، لها قيمة محتملة لخفض التكاليف بمليارات الدولارات. (تقدر ماكينزي)

البيانات الضخمة و تطبيقاتها العملية

تطبيقات البيانات الضخمة متنوعة، عميقة و كثيرة. هناك 10 مجالات رئيسية تُستخدم فيها البيانات الضخمة حاليًا لتحقيق ميزة ممتازة من الناحية العملية ولكن في هذه المجالات، يمكن استخدام البيانات لأي غرض تقريبًا.

١- فهم واستهداف العملاء

هذه واحدة من أكبر المجالات وأكثرها انتشارًا لاستخدام البيانات الضخمة اليوم. تُستخدم البيانات لفهم العملاء وسلوكياتهم وتفضيلاتهم بشكل أفضل. تحرص الشركات على توسيع مجموعات بياناتها التقليدية باستخدام بيانات الوسائط الاجتماعية وسجلات المتصفح بالإضافة إلى تحليلات النص وبيانات أجهزة الاستشعار للحصول على صورة أكثر اكتمالاً لعملائها. الهدف الأكبر، في كثير من الحالات، هو إنشاء نماذج تنبؤية.

قد تتذكر مثال تاجر التجزئة الأمريكي تارجيت، الذي أصبح الآن قادرًا على التنبؤ بدقة شديدة عندما يتوقع أحد عملائه طفلًا. باستخدام البيانات الضخمة، يمكن لشركات الاتصالات الآن التنبؤ بشكل أفضل بتغير العملاء ؛ يمكن لـ شركات التأمين على السيارات تدرك مدى جودة القيادة الفعلية لعملائها.

حتى أن المنتجعات تستخدم البيانات لفهم رعاتها واستهدافهم. يمكن أن تقلل علامات RFID التي يتم إدخالها في تذاكر المصعد من عمليات الاحتيال وأوقات الانتظار في المصاعد. بالإضافة إلى مساعدتهم على فهم أنماط حركة المرور.

حتى الحملات الانتخابية الحكومية يمكن تحسينها باستخدام تحليلات البيانات. يعتقد البعض أن فوز أوباما بعد حملة الانتخابات الرئاسية لعام 2012 كان بسبب قدرة فريقه الفائقة على استخدام تحليلات البيانات الضخمة.

٢- فهم وتحسين العمليات التجارية

كما يتم استخدام البيانات الضخمة بشكل متزايد لتحسين العمليات التجارية. يمكن لبائعي التجزئة تحسين مخزونهم بناءً على التوقعات الناتجة عن بيانات الوسائط الاجتماعية واتجاهات بحث الويب وتوقعات الطقس.

إحدى العمليات التجارية المحددة التي تشهد الكثير من تحليلات البيانات الضخمة هي تحسين سلسلة التوريد أو مسار التسليم. يتم استخدام مستشعرات تحديد المواقع الجغرافية وتحديد ترددات الراديو لتتبع البضائع أو مركبات التوصيل وتحسين الطرق من خلال دمج بيانات حركة المرور الحية وما إلى ذلك. كما يتم تحسين عمليات أعمال الموارد البشرية باستخدام تحليلات البيانات الضخمة.

لاحظ أحد عملاء الشركة بنك أميريكا، أن موظفيها الأفضل أداءً في مراكز الاتصال هم أولئك الذين أخذوا فترات راحة معًا. وضعوا سياسات كسر المجموعة وتحسن الأداء بنسبة 23 في المائة.

ربما تكون قد شاهدت علامات RFID التي يمكنك إرفاقها بأشياء مثل هاتفك أو مفاتيحك أو نظارتك، والتي يمكن أن تساعدك بعد ذلك في تحديد هذه الأشياء عندما تضيع حتمًا. لكن لنفترض أنه يمكنك نقل هذه التكنولوجيا إلى المستوى التالي وإنشاء ملصقات ذكية يمكن أن تلتصق عمليًا بأي شيء. بالإضافة إلى ذلك، يمكنهم إخبارك بأكثر من مجرد مكان وجود الشيء؛ يمكنهم إخبارك بدرجة حرارته ومستوى الرطوبة وما إذا كان يتحرك أم لا وغير ذلك.

هذا الجزء من إنترنت الأشياء يحمل وعدًا لا يُصدق لتحسين كل شيء من الخدمات اللوجستية إلى الرعاية الصحية، وأعتقد أننا ما زلنا على وشك فهم ما يمكن أن تفعله هذه التكنولوجيا المذهلة. كما حدث عندما تم استخدام الكهرباء فقط لتشغيل المصابيح الكهربائية.

٣- التقييم الشخصي وتحسين الأداء

البيانات الضخمة ليست للشركات والحكومات فقط ولكن أيضًا لنا جميعًا بشكل فردي. يمكننا الآن الاستفادة من البيانات الناتجة عن الأجهزة القابلة للارتداء مثل الساعات الذكية أو الأساور الذكية. Jawbone كمثال: يجمع الشريط بيانات عن استهلاك السعرات الحرارية ومستويات النشاط وأنماط نومنا. في حين أنه يعطي الأفراد رؤى غنية، فإن القيمة الحقيقية تكمن في تحليل البيانات الجماعية. تجمع الشركة الآن 60 عامًا من بيانات النوم كل ليلة. مما سيؤدي إلى جلب رؤى جديدة تمامًا يمكن أن تغذيها للمستخدمين الفرديين.

المجال الآخر الذي نستفيد فيه من تحليلات البيانات هو العثور على الحب – هذا هو عبر الإنترنت. تستخدم معظم مواقع المواعدة عبر الإنترنت أدوات وخوارزميات البيانات الضخمة للعثور على أنسب التطابقات.

٤- تحسين الرعاية الصحية والصحة العامة

تمكننا القوة الحاسوبية لتحليلات البيانات الضخمة من فك شفرة سلاسل الحمض النووي بالكامل في دقائق. وستسمح لنا بالعثور على علاجات جديدة وفهم أنماط المرض بشكل أفضل والتنبؤ بها. فكر فقط فيما يحدث عندما يمكن استخدام جميع البيانات الفردية من الساعات الذكية والأجهزة القابلة للارتداء لتطبيقها على ملايين الأشخاص وأمراضهم المختلفة.

لقد حول التطبيق الصحي الجديد من شركة أبل، هاتفك بشكل فعال إلى جهاز بحث طبي حيوي. يمكن للباحثين الآن إنشاء دراسات يجمعون من خلالها البيانات والمدخلات من هواتف المستخدمين لتجميع البيانات للدراسات الصحية. قد يتتبع هاتفك عدد الخطوات التي تتخذها في اليوم، أو يطالبك بالإجابة على أسئلة حول ما تشعر به بعد العلاج الكيميائي.

يتم بالفعل استخدام تقنيات البيانات لمراقبة الأطفال في وحدة الأطفال المبتسرين والمرضى. من خلال تسجيل وتحليل كل نبضة قلب ونمط تنفس لكل طفل. تمكنت الوحدة من تطوير خوارزميات يمكنها الآن التنبؤ بالعدوى قبل 24 ساعة من ظهور أي أعراض جسدية. وبهذه الطريقة، يمكن للفريق التدخل مبكرًا وإنقاذ الأطفال الضعفاء في بيئة تكون فيها كل ساعة مهمة. إيضاً، تسمح لنا تحليلات البيانات الضخمة بمراقبة تطورات الأوبئة وتفشي الأمراض والتنبؤ بها.

٥- تحسين الأداء الرياضي

تبنت معظم رياضات النخبة الآن تحليلات البيانات الضخمة.

لدينا أداة IBM SlamTracker لبطولات التنس؛ نستخدم تحليلات الفيديو التي تتعقب أداء كل لاعب في لعبة كرة القدم أو لعبة البيسبول. وتتيح لنا تقنية الاستشعار في المعدات الرياضية مثل كرات السلة أو مضارب الجولف الحصول على ردود الفعل (عبر الهواتف الذكية والخوادم السحابية) على لعبتنا وكيفية ذلك تحسينه.

تتعقب العديد من فرق النخبة الرياضية أيضًا الرياضيين خارج البيئة الرياضية – باستخدام التكنولوجيا الذكية لتتبع التغذية والنوم ، بالإضافة إلى محادثات وسائل التواصل الاجتماعي لمراقبة الرفاهية العاطفية.

طور اتحاد كرة القدم الأميركي منصته الخاصة من التطبيقات لمساعدة جميع الفرق في اتخاذ أفضل القرارات بناءً على كل شيء بدءًا من حالة العشب في الملعب وحتى الطقس وإحصاءات حول أداء اللاعب الفردي أثناء وجوده في الجامعة. كل ذلك باسم الإستراتيجية بالإضافة إلى تقليل إصابات اللاعبين.

٦- تحسين العلوم والبحوث

يتم حاليًا تحويل العلم والبحث من خلال الاحتمالات الجديدة التي توفرها البيانات المتعددة و الضخمة. خذ، على سبيل المثال، مختبر الفيزياء النووية، أكبر وأقوى مسرع للجسيمات في العالم. تولد التجارب للكشف عن أسرار عالمنا – كيف بدأ وعمل الكون – كميات هائلة من البيانات.

يحتوي مركز بيانات CERN على 65000 معالج لتحليل 30 بيتابايت من البيانات. ومع ذلك، فإنه يستخدم قوى الحوسبة لآلاف من أجهزة الكمبيوتر الموزعة عبر 150 مركز بيانات حول العالم لتحليل البيانات. يمكن الاستفادة من قوى الحوسبة هذه لتحويل العديد من مجالات العلوم والبحث الأخرى.

يمكن أيضًا تطبيق القوة الحاسوبية للبيانات الضخمة على أي مجموعة من البيانات. مما يفتح مصادر جديدة للعلماء. يمكن للباحثين الوصول إلى بيانات التعداد والبيانات الحكومية الأخرى التي تم جمعها وتحليلها بسهولة أكبر لإنشاء صور أكبر وأفضل لعلومنا الصحية والاجتماعية.

٧- تحسين أداء الأجهزة و الآلات

تساعد تحليلات البيانات الكبيرة الآلات والأجهزة على أن تصبح أكثر ذكاءً واستقلالية. تُستخدم أدوات البيانات لتشغيل سيارة جوحل ذاتية القيادة. تم تجهيز سيارة تويوتا بكاميرات ونظام تحديد المواقع العالمي (GPS) بالإضافة إلى أجهزة كمبيوتر وأجهزة استشعار قوية للقيادة بأمان على الطريق دون تدخل البشر. يمكننا حتى استخدام أدوات البيانات الضخمة لتحسين أداء أجهزة الكمبيوتر ومستودعات البيانات.

بدأت شركة Xcel Energy أحد الاختبارات الأولى على الإطلاق لـ “الشبكة الذكية” في كولورادو. حيث قامت بتركيب عدادات ذكية على منازل العملاء تسمح لهم بتسجيل الدخول إلى موقع ويب ومعرفة استخدامهم للطاقة في الوقت الفعلي. ستسمح الشبكة الذكية أيضًا من الناحية النظرية لشركات الطاقة بالتنبؤ بالاستخدام من أجل التخطيط لاحتياجات البنية التحتية المستقبلية ومنع سيناريوهات الانهيار.

٨- تحسين الأمن و تنفيذ القانون

يتم تطبيق البيانات الضخمة بشكل كبير في تحسين الأمن وتمكين إنفاذ القانون. وكالة الأمن القومي في الولايات المتحدة تستخدم تحليلات البيانات الضخمة لإحباط المؤامرات الإرهابية (وربما التجسس علينا). يستخدم آخرون تقنيات البيانات الضخمة لاكتشاف ومنع الهجمات الإلكترونية. تستخدم قوات الشرطة أدوات البيانات الضخمة للقبض على المجرمين وحتى التنبؤ بالنشاط الإجرامي وتستخدم شركات بطاقات الائتمان البيانات الضخمة للكشف عن المعاملات الاحتيالية.

٩- تحسين المدن والبلدان وتحسينها

تُستخدم البيانات لتحسين العديد من جوانب مدننا وبلداننا. حيث، يسمح للمدن بتحسين تدفقات حركة المرور بناءً على معلومات حركة المرور في الوقت الفعلي بالإضافة إلى وسائل التواصل الاجتماعي وبيانات الطقس. يقوم عدد من المدن حاليًا بتجربة تحليلات البيانات الضخمة بهدف تحويل نفسها إلى مدن ذكية ، حيث يتم دمج جميع عمليات البنية التحتية للنقل والمرافق.

تستخدم عدادات المياه الذكية للكشف عن الري غير القانوني في الوقت الفعلي. وقد تم استخدامها لمساعدة بعض أصحاب المنازل على خفض استخدامهم للمياه بنسبة تصل إلى 80 بالمائة.

تستخدم لوس أنجلوس البيانات من أجهزة استشعار الطريق المغناطيسية وكاميرات المرور للتحكم في إشارات المرور وبالتالي تدفق حركة المرور حول المدينة. يتحكم النظام المحوسب في 4500 إشارة مرور في جميع أنحاء المدينة وقلل من الازدحام المروري بنحو 16 بالمائة.

١٠- التداول المالي

التداول عالي التردد، هو مجال تجد فيه البيانات الضخمة الكثير من الاستخدام اليوم. يتم استخدام خوارزميات البيانات الضخمة لاتخاذ قرارات التداول. اليوم، تتم غالبية تداول الأسهم الآن عبر خوارزميات البيانات التي تأخذ في الاعتبار بشكل متزايد الإشارات من شبكات التواصل الاجتماعي والمواقع الإخبارية لاتخاذ قرارات الشراء والبيع في أجزاء من الثانية.

تتم برمجة أجهزة الكمبيوتر باستخدام خوارزميات معقدة تقوم بمسح الأسواق لمجموعة من الشروط القابلة للتخصيص والبحث عن فرص التداول. يمكن تصميم البرامج للعمل بدون تفاعل بشري أو بتفاعل بشري حسب احتياجات ورغبات العميل.

هذا فقط على سبيل النثال و لكن بالطبع هناك العديد من التطبيقات الأخرى للبيانات الضخمة وستكون هناك العديد من الفئات الجديدة كلما أصبحت الأدوات أكثر انتشارًا.