أسئلة: تنقية البيانات وتحويلها

الإجابة الصحيحة: وضع المتغيرات في نطاقات متقاربة من 0 إلى 1

يُستخدم تحجيم Min-Max لضبط نطاق المتغيرات لتكون بين 0 و1، وهو مفيد للخوارزميات الحساسة للمقياس.

الإجابة الصحيحة: تغيير التوزيع وتقليل التباين بشكل كبير

التعويض بالمتوسط عند وجود فقد كبير يشوه التوزيع ويقلل التباين، مما يعطي نتائج مضللة.

الإجابة الصحيحة: الربط

عملية الربط تعتمد على دمج بيانات من جداول مختلفة بناءً على مفتاح أو شرط مطابق.

الإجابة الصحيحة: التحقق من مصدر القيمة وتعريف المتغير لتحديد سببها

القيم الشاذة ليست دائمًا أخطاء؛ فقد تكون حقائق نادرة، لذا يجب فهم سببها قبل حذفها أو تعديلها.

الإجابة الصحيحة: فشل بعض الحسابات أو التعامل معها كنصوص

تخزين الأرقام كنصوص يمنع إجراء العمليات الحسابية عليها بشكل صحيح، لذا يجب تحويل نوع البيانات.

الإجابة الصحيحة: التوحيد القياسي يجعل المتوسط 0 والانحراف المعياري 1

التوحيد القياسي يطرح المتوسط ويقسم على الانحراف المعياري للوصول إلى توزيع بمتوسط 0 وانحراف 1.

الإجابة الصحيحة: التجميع

التجميع هو عملية تلخيص البيانات وحساب المجاميع أو المتوسطات لكل مجموعة.

الإجابة الصحيحة: عندما يكون الغياب نفسه يحمل معنى أو دلالة

يُستخدم وضع علامة عندما يكون لعدم وجود القيمة دلالة تحليلية، مثل رفض الإجابة على سؤال حساس.

الإجابة الصحيحة: دمج 'ذكر/أنثى' و'M/F' في صيغة واحدة

توحيد طريقة الكتابة يضمن عدم معاملة القيم المتشابهة على أنها مختلفة بسبب اختلاف الترميز.

الإجابة الصحيحة: إعادة هيكلة البيانات بين الشكل الطويل والعريض

التحويل المحوري يغير بنية الجدول لترتيب البيانات في صفوف وأعمدة تناسب غرض التحليل.

الإجابة الصحيحة: لأن السجلات المتشابهة قد تمثل أحداثًا حقيقية منفصلة

قد يطلب العميل طلبين في نفس اليوم بنفس البيانات، لذا يجب التأكد قبل حذف أي تكرار.

الإجابة الصحيحة: التنظيف ثم التحويل

تمر الدورة بـ: الجمع، التنظيف، التحويل، ثم التحليل.

الحذف يُستخدم عندما يكون الفقد قليلًا ولا يسبب تحيزًا أو خسارة معلومات جوهرية. التعويض يُستخدم لتقدير قيمة بديلة (مثل الوسيط) عندما يكون الفقد كبيرًا أو نمطه يتطلب الحفاظ على حجم البيانات، بشرط فحص أثر ذلك على التوزيع والنتائج لضمان عدم حدوث تشويه.

بسبب مبدأ 'مدخلات خاطئة تعطي مخرجات خاطئة'. التحليل يعتمد على البيانات الخام، وإذا لم تكن نظيفة ومنظمة ومحولّة للصيغة المناسبة، فإن النتائج ستكون غير دقيقة أو مضللة، بغض النظر عن قوة الخوارزمية المستخدمة.

أولًا: تحديد سبب وجود القيمة الشاذة (هل هي خطأ إدخال/قياس أم قيمة حقيقية نادرة؟). ثانيًا: إذا كانت خطأ، يتم تصحيحها أو حذفها. ثالثًا: إذا كانت قيمة حقيقية، يجب الاحتفاظ بها وعدم حذفها لمجرد أنها بعيدة عن المتوسط، مع اتخاذ القرار بناءً على سؤال التحليل والسبب المنطقي.

في الخوارزميات الحساسة للمقياس، قد يهيمن المتغير ذو النطاق العددي الأكبر (مثل الدخل بالآلاف) على النتيجة لمجرد كبر أرقامه مقارنة بمتغير أصغر (مثل الطول). الحل هو استخدام التحجيم (Min-Max) أو التوحيد القياسي لوضع المتغيرات في نطاق موحد لضمان مساهمة عادلة لكل متغير.

تغيير النوع هو تحويل البيانات من نمط لآخر (مثل تحويل نص رقمي '123' إلى رقم 123). توحيد الصيغ هو مواءمة القيم ذات المعنى الواحد في شكل موحد (مثل توحيد صيغ التاريخ المختلفة '2026/4/1' و'01 Apr 2026' إلى صيغة واحدة '2026-04-01').

يجب على المحلل أولًا توضيح غرض التحليل بدقة، ثم التخطيط لكيفية إعادة تشكيل البيانات لتناسب هذا الغرض، والتأكد من أن المجاميع أو المتوسطات المحسوبة لكل مجموعة تعكس الحقيقة المطلوبة للإجابة على سؤال البحث.