علوم البيانات وهندسة البيانات الضخمة (Data Science & Big Data Engineering)
مشروع عملي (2): خط أنابيب بيانات ETL متكامل يجلب أسعار الأسهم اللحظية ويحللها ويتنبأ بحركتها في هذا المشروع العملي نبني مساراً متكاملاً يبدأ من جلب أسعار الأسهم من واجهة API لحظية، ثم يمر بمرحلة تنظيف وتحويل وتخزين وتحليل، وينتهي بتوليد توقع مبسط لاتجاه الحركة القادمة. هذا النوع من المشاريع يجمع بين مفاهيم بناء خطوط أنابيب…
مشروع عملي (1): بناء نظام كشف الاحتيال في البطاقات الائتمانية باستخدام تعلم الآلة يُعد كشف الاحتيال في البطاقات الائتمانية من أكثر تطبيقات Machine Learning حساسية في البيئات المالية، لأن الخطأ لا يعني فقط خسارة مالية، بل قد يؤدي أيضاً إلى تعطيل عمليات العملاء الحقيقيين. في هذا المشروع العملي سنبني تصوراً احترافياً لنظام يقرأ بيانات المعاملات،…
لماذا لا يكتمل مشروع التحليل بدون مرحلة Deployment؟ بناء النموذج التحليلي لا يمثل نهاية الرحلة، بل هو نقطة التحول من تجربة داخلية إلى خدمة قابلة للاستهلاك من التطبيقات والأنظمة الأخرى. كثير من مشاريع Data Science تتوقف عند ملف Jupyter Notebook رغم أن القيمة التجارية الحقيقية تبدأ عندما يصبح النموذج متاحاً عبر API مستقرة وآمنة وسريعة.…
التقييم المتقاطع (Cross-Validation): ضمان عدم حفظ النموذج للبيانات (Overfitting) في مشاريع مقدمة في تعلم الآلة (Machine Learning): الفرق بين التعلم الخاضع وغير الخاضع للإشراف، لا تكفي دقة التدريب المرتفعة للحكم على جودة النموذج. قد يحقق النموذج نتائج ممتازة على البيانات التي شاهدها مسبقاً، لكنه يفشل عند مواجهة بيانات جديدة. هنا يظهر خطر Overfitting، أي أن…
تحسين المعاملات الفائقة (Hyperparameter Tuning): رفع دقة النموذج إلى أقصى حد (GridSearch) بعد بناء أي نموذج Machine Learning، يكتشف كثير من الممارسين أن اختيار الخوارزمية وحده لا يكفي للوصول إلى أفضل أداء. السبب أن معظم النماذج تحتوي على معاملات فائقة Hyperparameters تتحكم في سلوك التعلم، مثل عمق الشجرة، وعدد الجيران، وقوة الانتظام. هنا يظهر دور…
