البيانات المظلمة ماهي و كيف نضيئها

تقوم المنظمات عادةً بجمع ومعالجة وتخزين الكثير من المعلومات في السياق العادي لعملياتها. ومع ذلك، يمكن أن تكون نفس البيانات مفيدة لتخطيط خرائط طريق المنتج أو المساعدة في اتخاذ القرارات التجارية أو تحسين العمليات. هذا ممكن اليوم بسبب التقنيات الحديثة للتعلم الآلي وتحليلات البيانات. البيانات المظلمة هي ببساطة بيانات متاحة للمؤسسات ولكن لا يتم استخدامها. مصطلح “الظلام” لا يشير إلى شيء شرير أو غير قانوني. ولا يتعلق بالأمن أو الخصوصية على وجه التحديد بدلاً من ذلك، يتعلق الأمر بالبيانات المخفية عن العرض، ويصعب الوصول إليها أو تحليلها، والتي يسهل تجاهلها.

ما هي البيانات المظلمة

البيانات المظلمة هي البيانات التي يتم الحصول عليها من خلال عمليات شبكة الكمبيوتر المختلفة ولكن لا يتم استخدامها بأي شكل من الأشكال لاشتقاق الرؤى أو لاتخاذ القرار، ويكيبيديا. أو حسب ما طرحت جارتنر هذا المصطلح بداياً عام 2013 البيانات المظلمة، على أنها جمع أصول المعلومات ومعالجتها وتخزينها أثناء أنشطة الأعمال العادية. ولكنها تفشل عمومًا في استخدامها لأغراض أخرى (على سبيل المثال، التحليلات والعلاقات التجارية وتحقيق الدخل المباشر). غالبًا ما تحتفظ المؤسسات بالبيانات المظلمة لأغراض الامتثال فقط. عادةً ما يؤدي تخزين البيانات وتأمينها إلى تكبد نفقات أكثر (وفي بعض الأحيان مخاطر أكبر) من القيمة.

وفقًا لـ IDC، لا يتم تحليل قرابة 90٪ من البيانات غير المهيكلة أبدًا، أو كما تُعرف باسم البيانات المظلمة. على الرغم من أن فئات البيانات المظلمة قد تختلف عبر الشركات، إلا أن الفئات التالية من البيانات غير المهيكلة تعتبر عادةً بيانات مظلمة:

• معلومات العميل
• ملفات الدخول
• معلومات الموظف السابقة
• بيانات المسح الخام
• القوائم المالية
• مراسلات البريد الإلكتروني
• معلومات الحساب
• ملاحظات أو عروض تقديمية
• الإصدارات القديمة من المستندات ذات الصلة

في عام 2015 تشير شركة IBM إلى عدم استخدام 90٪ من بيانات مستشعر إنترنت الأشياء. علاوة على ذلك، تفقد 60٪ من هذه البيانات قيمتها خلال أجزاء من الثانية. لذلك فإن التقنيات التي تسمح لنا بمعالجة هذه البيانات في الوقت الفعلي تقريبًا هي أمر بالغ الأهمية. إذا لم يكن الأمر كذلك، فستنتهي الى ببيانات مظلمةز

أظهرت دراسة أجرتها فيريتاس شملت 22 دولة أن 52٪ من جميع البيانات التي جمعتها المنظمات مظلمة. يقولون إنها بيانات “تحت خط رؤية الإدارة العليا”. في مايو 2017 تستحوذ شركة أبل على Lattice Data المتخصصة في البيانات المظلمة. و التي قامت بدورها بتسويق DeepDive، وهي أداة تم تطويرها في جامعة ستانفورد. حيث تستخدم التعلم الآلي لتحويل البيانات المظلمة إلى بيانات منظمة يمكن دمجها في مصادر البيانات المنظمة الحالية. و هي أيضاً تمكن من استخراج العلاقات وصنع الاستدلالات.

كيف تختلف البيانات المظلمة عن البيانات غير المهيكلة

غالبًا ما تكون البيانات المظلمة غير منظمة لأن البيانات غير المهيكلة يصعب تحليلها. تصبح البيانات غير المهيكلة “مظلمة” عندما لا تملك المؤسسات المعرفة اللازمة لتحليلها والحصول على رؤى. ومع ذلك، يمكن أن تكون البيانات المنظمة أيضًا جزءًا من البيانات المظلمة. على سبيل المثال، قد توجد مجموعتان من مجموعات البيانات المهيكلة بشكل مستقل في الصوامع أو قواعد البيانات الخاصة بهما. إذا تم دمجها، يمكن الحصول على رؤى جديدة. قد لا يكون الجمع بين مجموعتي بيانات أمرًا تافهًا، خاصةً عند وجودهما في تنسيقات مختلفة أو تخزينهما في أنظمة مختلفة أو التحكم فيهما من قبل فرق مختلفة.

بشكل عام، يمكن أن تكون البيانات المظلمة منظمة أو غير منظمة ولكنها تشترك في بعض الخصائص المشتركة. قد تكون البيانات زائدة عن الحاجة أو قديمة أو تافهة. أي إنها ليست مجرد بيانات قيّمة لا يتم استخدامها ولكنها تتضمن بيانات غير مجدية تشغل مساحة تخزين.

فوائد تحليل البيانات المظلمة

تتوقع شركة IDC أن المنظمات التي يمكنها تحليل جميع البيانات ذات الصلة وتقديم معلومات قابلة للتنفيذ يمكن أن تحقق مكاسب إنتاجية إضافية بقيمة 430 مليار دولار على أقرانها. لديهم الفرصة لأخذ المعلومات التي كانت مخفية أو غير معروفة سابقًا وتحويلها إلى رؤى قوية، تؤدي إلى فرص جديدة، وتقليل المخاطر، وزيادة عائد الاستثمار.

على الجانب الآخر، فإن عدم معرفة أفضل طريقة لتطبيق البيانات المظلمة يمكن أن يكلف الشركات بالفعل. مع بدء المزيد من الشركات في الاستفادة من بياناتها غير المستغلة سابقًا، قد يواجه أولئك الذين ليسوا كذلك فرصًا ضائعة للإيرادات، وانخفاض الكفاءة، ومشكلات الجودة، وانخفاض الإنتاجية.

خطوات عملية للإستفادة وحسن الإستخدام

أولاً: الاستكشاف: الكشف عن الرؤى من البيانات في المؤسسة

فتح رؤى جديدة من خلال مؤسسة معالجة اللغة الطبيعية (NLP). يمكن للعملاء استخدام قابلية التوسع والمرونة للتكنولوجيا المستندة إلى السحابة، بما في ذلك ليس فقط إرجاع المستندات ولكن استخراج الإجابات داخل تلك المستندات. يمكن أن تساعد المعلومات السطحية من مصادر البيانات الداخلية والخارجية – الأخبار والبيانات المالية ووسائل التواصل الاجتماعي وبيانات الويب العامة الأخرى.

ثانياً: تحليل: فهم “لماذا” وراء “ماذا”

تحدد العبارات والمشاعر والاتصالات في البيانات. يمكن لبرنامج واتسون بتوجيه المستخدمين بصريًا من خلال البيانات باستخدام لوحة معلومات تفاعلية للعثورعلى الحالات الشاذة. توفر إمكانية تعدين البيانات واجهة تفاعلية لمساعدة محترفي الأعمال على استخراج كميات كبيرة من النصوص للحصول على رؤى تجارية جديدة. يتم تحليل المعلومات النصية وتصورها باستخدام سلسلة من وجهات النظر التي يمكن أن تظهر الاتجاهات والأنماط والشذوذ في المعلومات. على سبيل المثال، قد يرى المستخدم عددًا متزايدًا من الإشارات إلى مكون أو منتج معين في سجلات مركز الاتصال بمرور الوقت، مما يشير إلى الحاجة إلى التحقق مما إذا كانت المراجع المتزايدة تشير إلى مشكلة أو اهتمام جديد بقدرة المنتج.

ثالثاً: النصيحة: توجيه المستخدمين لاتخاذ قرارات فعالة

في كثير من الأحيان، تكون البيانات والرؤى القيّمة محجوبة أو يصعب الوصول إليها. إذا تمكنت المؤسسات من إطلاق العنان لهذه الأفكار، فإنها تكتسب الفرصة للاستفادة من البيانات في فوائد تجارية قابلة للقياس. يساعد المساعد المعرفي الجديد في تزويد المستخدمين بالبيانات المحددة التي يبحثون عنها من خلال مساعدتهم على تصفية المعلومات الدخيلة. بالاقتران مع إمكانات التعلم الآلي، يمكن أن تكون استفسارات المستخدم أكثر صلة وفعالية من أي وقت مضى.

الملخص

تمثل البيانات المظلمة بالتأكيد فرصًا غير مستخدمة تتخلى عنها العديد من الشركات بسبب قيود العمليات والاستثمار والتكنولوجيا. بمعنى ما ، يؤدي هذا الفشل في استخدام البيانات المظلمة أيضًا إلى جعل جمع البيانات الضخمة ، وهو تمرين كبير ، فشلًا جزئيًا. على الرغم من أن الاستثمارات اللازمة للاستفادة من إمكانات البيانات المظلمة قد تكون مكلفة ، إلا أن الجهد يستحق الاستثمار. وحتى إذا اختارت الشركات الاكتفاء بالجلوس على البيانات المظلمة وعدم القيام بأي شيء ، فإنها في الواقع تعرض نفسها للعديد من المخاطر ، كما هو موضح سابقًا. المفتاح هو القيام بشيء ما بشأن البيانات المظلمة وعدم التعامل معها على أنها أشياء ميتة وعديمة الفائدة.