المحتوى الرئيسي

السؤال الرئيسي

لماذا يجب تنظيف البيانات وتحويلها قبل التحليل، وما الخيارات التي ينطوي عليها كل إصلاح؟ الفكرة الأساسية أن البيانات الخام نادرًا ما تكون جاهزة للاستخدام مباشرة. يعالج التنظيف القيم المفقودة والقيم الشاذة والتكرارات؛ ويحوّل التحويل الأنواع، ويعيد ضبط المقياس، ويعيد تشكيل البيانات لتناسب الغرض. “مدخلات خاطئة — مخرجات خاطئة” — تعتمد جودة أي تحليل على هذا التحضير.

مراحل تنظيف البيانات وتحويلها

يمر التحليل بأربع مراحل: الجمع (استطلاعات، بيانات مفتوحة، APIs) → التنظيف (إصلاح القيم المفقودة والشاذة والمكررة) → التحويل (إعادة التنسيق والتسوية وإعادة الهيكلة) → التحليل (الإحصاء والتصوير والتعلم الآلي).

تنظيف البيانات: اكتشاف مشكلاتها وتصحيحها أو التعامل معها بطريقة مناسبة. تحويل البيانات: إعداد الصيغ أو البنية لتناسب السؤال وطريقة التحليل. تؤثر جودة التحضير بقوة في جودة النتائج، لكن لا توجد سلسلة إصلاح واحدة تناسب كل البيانات؛ فالقرارات تعتمد على نوع المشكلة وسؤال التحليل.

التعامل مع القيم المفقودة

قد تسبب القيم المفقودة مشكلات في بعض الحسابات أو تغيّر النتائج بحسب مقدارها وسببها ونمطها:

يعتمد الاختيار على مقدار الفقد وسببه ونمطه وغرض التحليل. وقد يغيّر التعويض البسيط بالمتوسط توزيع البيانات ويقلل التباين، خاصة إذا كان الفقد كبيرًا؛ لذلك يجب فحص أثر الطريقة في النتائج.

التعامل مع القيم الشاذة والبيانات المكررة

القيم الشاذة بعيدة عن معظم القيم، لكنها ليست أخطاء بالضرورة؛ فقد تنتج عن خطأ إدخال أو قياس، وقد تكون قيمة حقيقية نادرة. لذلك يجب التحقق من مصدر القيمة وتعريف المتغير قبل تعديلها. تبدأ معالجة القيم الشاذة بتحديد السبب:

1. عندما يكون السبب خطأ في الإدخال أو القياس: صحّح القيمة أو احذفها.
2. إذا كانت القيمة صحيحة، فلا تحذفها لمجرد أنها بعيدة عن الباقي؛ قرّر وفق سؤال التحليل وبسبب تحليلي واضح.

قد تغيّر السجلات المكررة الحسابات، لكن لا يُحذف سجل مكرر ظاهريًا إلا بعد التأكد أنه تكرار غير مقصود لنفس الملاحظة أو الحدث؛ فقد تمثل السجلات المتشابهة أحداثًا حقيقية منفصلة.

تحويل نوع البيانات

يجب الفصل بين تغيير نوع البيانات (مثل تحويل نص رقمي إلى رقم) وبين توحيد الصيغ أو الترميز (مثل توحيد كتابة التاريخ أو القيم الفئوية). وقد تحتاج البيانات إلى أحد هذين التحويلين أو أكثر:

إذا اختلفت الصيغ أو الترميزات، فقد يعامل البرنامج القيم المتشابهة على أنها مختلفة. وإذا خُزنت الأرقام كنصوص، فقد تفشل بعض الحسابات أو تتعامل الأداة معها بوصفها نصوصًا؛ لذلك تُفحص الأنواع والصيغ قبل التحليل بحسب الأداة.

التحويل الكمي (Min–Max) والتوحيد القياسي

في بعض الخوارزميات الحساسة للمقياس، قد يكون للمتغير ذي النطاق الأكبر تأثير أكبر لمجرد مقياسه (مثال: الطول بالسنتيمتر والوزن بالكيلوغرام — قد تهيمن الأرقام الأكبر لمجرد وحدة القياس). عندئذ يمكن استخدام طريقة تحجيم مناسبة:

يطرح التوحيد القياسي المتوسط من كل قيمة ثم يقسم على الانحراف المعياري، فيصبح متوسط البيانات المستخدمة في الحساب 0 وانحرافها المعياري 1. تمثل القيمة الجديدة عدد الانحرافات المعيارية عن المتوسط، مع اعتماد التفسير على شكل التوزيع. التحجيم ليس مطلوبًا لكل تحليل.

إعادة تشكيل البيانات حسب الغرض

إعادة تشكيل البيانات: تغيير بنية الجدول أو دمج الجداول أو تلخيصها بما يناسب السؤال. من عملياتها:

تعتمد العملية التي يجب إجراؤها على غرض التحليل. من المهم توضيح غرض التحليل أولًا، ثم التخطيط لكيفية إعادة تشكيل البيانات.

أسئلة للمراجعة

1. لماذا لا يُحذف سجل مكرر ظاهريًا أو قيمة شاذة قبل التحقق من السبب؟

الإجابة: لأن التشابه الظاهري في السجلات لا يعني بالضرورة أنه تكرار خاطئ لنفس الحدث؛ فقد تمثل السجلات المتشابهة أحداثًا حقيقية منفصلة (كطلبين منفصلين بنفس البيانات من العميل نفسه في اليوم نفسه). وبالمثل، القيمة الشاذة قد تكون خطأ إدخال أو قياس يجب تصحيحه أو حذفه، لكنها قد تكون أيضًا قيمة حقيقية نادرة تعكس ظاهرة فعلية (كيوم مبيعات ضخم حقيقي). حذف أي منهما دون تحقق قد يُفقد التحليل معلومات صحيحة ومهمة، أو حتى يُدخل تحيزًا جديدًا في البيانات.

2. لديك عمود من استبيان بيانات فيه 70% من إجاباته فارغة. هل يجدر التعويض بالمتوسط، أم وضع علامة، أم حذف العمود بالكامل؟ ناقش.

الإجابة: مع فقد بهذا الحجم (70%)، التعويض بالمتوسط غير مناسب؛ لأنه سيبني معظم قيم العمود على تقدير واحد متكرر، ما يشوّه توزيع البيانات ويقلل التباين بشكل كبير ويعطي انطباعًا زائفًا باكتمال البيانات. الخيار الأنسب عادة هو حذف العمود بالكامل إذا لم يكن جوهريًا للتحليل، أو وضع علامة توضح أن القيمة كانت مفقودة إذا كان الغياب نفسه ذا معنى (مثلًا: امتناع كثير من المستجيبين عن الإجابة قد يكون دليلًا مهمًا بحد ذاته، كحساسية السؤال). الشرط الذي قد يغيّر هذا الاختيار: إذا اتضح أن الفقد ليس عشوائيًا بل مرتبطًا بفئة معينة من المستجيبين (نمط منهجي)، فقد يستدعي ذلك تحليل سبب الفقد نفسه بدلًا من مجرد حذفه أو تعويضه.

3. يريد محلل مقارنة متغيرين لهما وحدات ومقاييس مختلفة تمامًا (الطول بالسنتيمتر والدخل بالجنيه) ضمن خوارزمية حساسة للمقياس. أي عملية تحويل مناسبة هنا؟ ولماذا؟

الإجابة: مناسب استخدام تحجيم Min–Max أو التوحيد القياسي (بحسب طبيعة التحليل المطلوب). السبب: في الخوارزميات الحساسة للمقياس، يمكن للمتغير ذي النطاق العددي الأكبر (كالدخل بالآلاف) أن يهيمن على النتيجة لمجرد كبر أرقامه، حتى لو لم يكن أكثر أهمية فعليًا من متغير آخر نطاقه أصغر (كالطول بعشرات السنتيمترات). تحويل كلا المتغيرين إلى نطاق موحد (0 إلى 1 عبر Min–Max) أو إلى وحدات قابلة للمقارنة (انحرافات معيارية عن المتوسط عبر التوحيد القياسي) يمنع هذا التحيز الناتج عن اختلاف الوحدات، ويجعل مساهمة كل متغير في التحليل معتمدة على قيمته الفعلية لا على مقياسه.