تطبيق منهجية أجايل (Agile) بفعالية في مشاريع علم البيانات

في عالم اليوم المتسارع، أصبحت إدارة المشاريع الفعالة حجر الزاوية لنجاح أي مبادرة تقنية. تُعد منهجيات إدارة المشاريع بمثابة أطر عمل منظمة تهدف إلى تحقيق الأهداف المحددة، سواء كان ذلك بإنهاء مشروع أو تطوير منتج (يُشار إليه غالبًا بالأداة). تتلخص هذه المنهجيات في تقسيم الأهداف الكبرى إلى مهام فردية قابلة للإدارة، تُنظم على جدول زمني محدد.

تاريخياً، هيمنت منهجية الشلال (Waterfall) التقليدية، التي تعود جذورها إلى سبعينيات القرن الماضي، على المشهد. تقوم هذه المنهجية على تحديد جميع المتطلبات والمعايير الخاصة بالمنتج في بداية المشروع، ثم يعمل فريق العمل نحو تحقيق هذا الهدف عبر مراحل متسلسلة وخطية. لقد أثبتت منهجية الشلال فعاليتها في الصناعات التحويلية حيث تكون مواصفات المنتج ثابتة ونادراً ما تتغير بمرور الوقت. تتطلب هذه الطريقة تخطيطاً أولياً مكثفاً للغاية، ومن الناحية المثالية، يكون المنتج النهائي مطابقاً تماماً لما تم تحديده في البداية.

ومع ذلك، بدأت منهجية Waterfall تفقد بريقها وتصبح غير مناسبة لمشاريع تطوير البرمجيات، حيث تتسم المتطلبات بالتغير المستمر والاحتياج إلى المرونة. نتيجة لذلك، ظهرت العديد من منهجيات إدارة المشاريع الحديثة على مر السنين، خاصة في صناعة تطوير البرمجيات، لتلبية هذه الاحتياجات المتطورة. في هذا المقال، سنتعمق في واحدة من أبرز هذه المنهجيات وأكثرها شيوعاً: منهجية أجايل (Agile)، وكيف يمكن تطبيقها بفعالية في مشاريع علم البيانات.

فهم إطار عمل أجايل (Agile)

تُمثل منهجية أجايل (Agile)، التي ظهرت في عام 2001، فلسفة عمل حديثة تُستخدم على نطاق واسع لإدارة مشاريع تطوير البرمجيات. تتميز هذه المنهجية بكونها مثالية لدورات التطوير السريعة، وتوفر مرونة عالية لاستيعاب المتطلبات المتغيرة طوال عملية التصميم والبناء. إنها منهجية مرنة تسعى جاهدة لتحقيق تحسينات تزايدية ومتكررة في المنتج من خلال التعاون الفعال بين أعضاء الفريق. باختصار، يمكن تلخيص دورة عمل Agile في الخطوات التالية: التخطيط، البناء، الاختبار، التعلم، ثم التكرار.

تتميز فرق Agile بقدرتها على الاستجابة السريعة للمتطلبات غير المتوقعة التي قد تظهر مع تقدم المشروع، وذلك بفضل عمليات العمل التكرارية. تخدم المبادئ التالية كإطار توجيهي لطريقة العمل الرشيقة:

• تحقيق رضا العملاء من خلال التسليم المبكر والمستمر للبرمجيات.
• استيعاب المتطلبات المتغيرة طوال عملية التطوير.
• التسليم المتكرر للبرمجيات العاملة، حيث تُعد البرمجيات العاملة هي المقياس الأساسي للتقدم.
• التعاون والتفاعل المستمر بين أصحاب المصلحة التجاريين (العميل) والمطورين (المورد) طوال المشروع، بما في ذلك التواصل وجهاً لوجه داخل فريق التطوير.
• دعم وتحفيز وبناء الثقة بين جميع الأفراد المشاركين في المشروع.
• استخدام أطر عمل Agile للحفاظ على وتيرة تطوير متسقة ومستدامة.
• الاهتمام بالتفاصيل الفنية والتصميم يعزز المرونة والرشاقة.
• البحث عن حلول بسيطة وفعالة.
• التفكير المنتظم داخل الفريق ذاتي التنظيم حول كيفية زيادة الفعالية.

تتميز مشاريع Agile بسلسلة من المهام التي يتم تصورها وتنفيذها وتكييفها حسب متطلبات الموقف. ومع ذلك، لا يركز Agile على “ماذا نفعل”، بل على “كيف نفكر”. تُعطي قيم Agile الأولوية لما يلي:

• الأفراد والتفاعلات (بدلاً من العمليات والأدوات).
• البرمجيات العاملة (بدلاً من التوثيق الشامل).
• تعاون العملاء (بدلاً من التفاوض على العقود).
• الاستجابة للتغيير (بدلاً من اتباع خطة جامدة ومحددة مسبقاً).

مقارنة توضيحية بين منهجيتي Waterfall و Agile. المصدر: الكاتب.

توضيح لطريقة عمل منهجية Agile. المصدر: الكاتب.

تكييف ممارسات أجايل (Agile) لمشاريع علم البيانات

في حين تُستخدم مبادئ وأولويات Agile لزيادة الإنتاجية في تطوير البرمجيات، فإن معظمها يمكن الاستفادة منه بشكل كبير في مشاريع علم البيانات (Data Science - DS). يواجه علماء البيانات تحدياً فريداً يتمثل في صعوبة تحديد جدول زمني دقيق للمشروع، وذلك لأن طبيعة عملهم غالبًا ما تكون استكشافية وبحثية. تتطلب معظم مشاريع DS التجربة والخطأ، عبر استكشاف مسارات مختلفة وتجربة تقنيات متنوعة. لا يوجد عنصر يقين في المخرجات الأولية، مما يجعل منهجية Agile أداة قيمة لتوجيه سير العمل.

بينما تتعامل معظم المشاريع الأخرى مع رغبات العملاء والمطورين وأهداف الأعمال، تُضيف مشاريع علم البيانات بُعداً آخر: ماذا تخبرنا البيانات؟ لا يمكن لعلماء البيانات استخلاص أي معنى من البيانات ما لم يطوروا فهماً أساسياً لها. يتطلب ذلك الكثير من التحقيق والاستكشاف والاختبار والضبط. تستخدم Agile مفهوم التكرار والتغذية الراجعة المستمرة لتحسين النظام قيد التطوير، بهدف الارتقاء في هرم قيمة البيانات (Data-Value Pyramid).

هرم قيمة البيانات (Data-Value Pyramid). المصدر: الكاتب.

عند العمل على مشاريع DS، لا يمكن تحقيق الرؤى القيمة على الفور. تتطلب العملية تكرارات متعددة قبل أن يتم اكتشاف أي رؤى حقيقية ومفيدة.

تطبيق ممارسات أجايل (Agile) الفعالة في مشاريع علم البيانات

سنستعرض هنا أبرز ممارسات العمل في منهجية سكروم (Scrum)، وهو إطار عمل شائع ضمن Agile، وكيف يمكن تطبيقها بفعالية في سياق مشاريع علم البيانات (DS):

1. تحديد الحاجة التجارية وهدف المشروع

عادةً ما يقود هذه المرحلة مالك المنتج (Product Owner)، وهو المسؤول عن تحديد ميزات المنتج وجودته. يمثل هذا التحديد الصورة الكبرى للمشروع، وهو بمثابة الاعتقاد الأساسي الذي ستعود إليه كمرجع أثناء عملية البناء. في مشاريع DS، يمكن أن يكون مالك المنتج هو العميل، أو الجهة التجارية، أو المستخدم النهائي (مثل مستخدم أداة تنبؤ). يجب فهم المشكلات التي يواجهها مالك المنتج وتصميم مقترح المشروع لتلبية احتياجاته بدقة.

2. بناء قائمة المهام المتراكمة (Backlog)

بالتركيز على متطلبات المستخدم (التي تُعرف بـ "user stories" في Agile)، يتم اشتقاق قائمة بالمهام التي يجب إنجازها لبناء ميزات المنتج أو تحسين أدائه. يقوم فريق DS ببناء قائمة المهام المتراكمة (Backlog) بالتعاون مع مالك المنتج لتحديد ميزات المنتج وأهداف الأداء. يمكن أن تبدأ هذه القائمة بالحصول على البيانات بطريقة منظمة قبل تحليلها، ثم تتضمن مهام لاختيار الميزات (feature selection) أو هندسة الميزات (feature engineering)، أو قائمة بالنماذج المراد اختيارها وضبطها وتحسينها.

3. ترتيب أولويات المهام المتراكمة (Prioritise the Backlog)

تحديد مهام Backlog التي ستحقق أكبر قيمة بأقل جهد. في مشاريع DS، لا يستحق كل نهج التجربة، لذا يجب تغطية الواعد منها أولاً. عندما يتم إنجاز المهام الرئيسية، قد تجد أن المهام المتبقية ليست بنفس الأهمية التي كانت تُعتقد في البداية.

4. تنفيذ الدورة التكرارية (Sprint)

يمثل Sprint دورة عمل تطوير فعلية، وعادة ما تكون مدتها أسبوعين، يتم خلالها العمل على المهام ذات الأولوية العالية في Backlog. في مشاريع DS، يمكن أن تتراوح مدة كل Sprint من أسبوعين إلى أربعة أسابيع، اعتماداً على حجم الفريق وطبيعة المهام. خلال Sprint، يجب دائماً إكمال المهمة ذات الأولوية القصوى قبل الانتقال إلى المهمة التالية.

5. اجتماعات الوقوف اليومية (Daily Standups)

تُعقد اجتماعات الوقوف اليومية لضمان مساءلة أعضاء الفريق لبعضهم البعض بشأن تقدمهم في Sprint الحالي. يتناوب كل عضو في الفريق على الإبلاغ عن حالته: ما تم إنجازه في اليوم السابق، وما سيتم إنجازه اليوم، وأي عقبات محتملة. يحدث التواصل الأكثر فعالية عندما يجتمع أعضاء فريق DS وجهاً لوجه لمشاركة عملهم.

6. مراجعة مخرجات الدورة التكرارية (Sprint Retrospective Meeting)

في نهاية فترة Sprint (على سبيل المثال، بعد أسبوعين)، يجب أن يكون هناك مخرج وظيفي ليقوم فريق المشروع بعرضه، مع تحسين تدريجي في المنتج. يجب على علماء البيانات مشاركة المخرجات قبل محاولة إتقان العمليات بشكل كامل. يتم الحصول على التغذية الراجعة من أصحاب المصلحة من العملاء والتحضير للدورة التكرارية التالية. تُعد التغذية الراجعة المنتظمة مبدأً أساسياً لمنهجية Agile لتحقيق التحسين التزايدي التكراري.

7. التحضير للدورة التكرارية التالية (Prepare for the Next Sprint)

تحديد المهام التي تسير على ما يرام ومواصلة العمل عليها، وتحديد المعوقات التي يجب إزالتها. من المهم فهم أنه، على عكس تطوير البرمجيات، تعتمد مشاريع DS بشكل أكبر على التجريب بدلاً من المهام المحددة. تساعد DS في استكشاف البيانات، لذا يجب التعامل معها كسلسلة من التجارب البحثية المتعددة. مرة أخرى، يتم بناء وترتيب أولويات Backlog بحيث يمكن تنفيذ Sprint التالي، للعمل على مجالات التحسين القادمة.

8. إطلاق المنتج النهائي (Roll Out the Final Product)

عندما يتفق جميع أصحاب المصلحة على عدم الحاجة إلى مزيد من التحسين في المنتج، يكون جاهزاً للنشر النهائي. تتبع مشاريع DS “قانون التناقص في التحسين” (law of diminishing improvement). على سبيل المثال، إذا حقق نموذج دقة بنسبة 70%، فإن تحقيق تحسين بنسبة 5-10% إضافية سيتطلب جهداً أكبر بكثير من ذي قبل، ويعتمد أيضاً على القيود في مجموعة البيانات. يجب على الفريق أن يقرر ما إذا كانت الجهود المبذولة تستحق التحسين الإضافي.

تحديات التعامل مع العملاء في مشاريع أجايل (Agile) لعلم البيانات

بالإضافة إلى أهمية التواصل الفعال بين فريق DS والعميل، يجب إدارة توقعات العميل بعناية. يميل جميع العملاء بشكل عام إلى الإعجاب بفكرة أن منهجية Agile مرنة، وأنها تمنحهم المزيد من الفرص لتغيير رأيهم مع تطور المشروع. ومع ذلك، قد لا يدركون أن هذه المرونة تأتي بتكلفة، سواء من حيث الوقت أو المال. إليك بعض النقاط الأساسية التي يجب مراعاتها:

1. تكلفة المرونة

يجب على فريق المشروع توضيح للعميل أن المرونة مكلفة حتماً. يمكن تشبيه ذلك بتذكرة طيران مرنة ذات سعر كامل تسمح بتغيير خط سير الرحلة، والتي ستكلف أكثر بكثير من التذكرة الثابتة. إجراء التغييرات يعني أيضاً أن العميل يدفع مقابل الوقت والجهد الضائعين سابقاً.

2. تحديد التوقعات

يجب تحديد توقعات العميل بشأن الالتزام بالوقت لحضور اجتماعات مراجعة Sprint Retrospective المتكررة (على سبيل المثال، كل أسبوعين) لتقييم الدورات التكرارية المكتملة. علاوة على ذلك، يجب أن يكون ممثل العميل في كل اجتماع (مُفوض من الإدارة العليا) قادراً على اتخاذ قرارات بشأن مواصفات المنتج. لكي تنجح Agile، يحتاج العميل إلى تقديم تغذية راجعة مستمرة وتحديد الأولويات للحفاظ على تقدم المشروع.

3. بناء الثقة

اكتسب ثقة العميل وأظهر له أن كل دورة تكرارية (iteration) تتم بأقصى الجهود الممكنة لتقديم قيمة وتحسين المنتج. بينما يمتلك العميل سلطة اتخاذ القرار، فإنه يتوقع أيضاً أن تحقق كل iteration تحسناً هائلاً. يجب تحويل هذا الخلل في المسؤولية في العلاقة بين العميل والمورد إلى ثقة متبادلة ورغبة في التجريب معاً. مبدأ Agile في التعاون يعني أنه جهد جماعي في كل من اتخاذ القرارات وتقديم القيمة.

صورة بواسطة You X Ventures على Unsplash.

صورة بواسطة You X Ventures على Unsplash.

المنتج الأدنى القابل للتطبيق (Minimum Viable Product – MVP)

تُعد عملية تطوير المنتج الأدنى القابل للتطبيق (Minimum Viable Product - MVP) سمة أساسية في طريقة عمل Agile. يمثل هذا المنتج التكوين الأساسي الأكثر جوهرية للمنتج (أو الأداة) الذي يمكن إطلاقه. بعد تحديد أهداف المشروع، يقدم الفريق مقترحاً بشأن النهج المتبع لحل المشكلة. يتضمن ذلك بناء MVP في أقصر وقت ممكن (مثل شهر واحد لمشاريع DS).

يحتوي MVP على أهم الوظائف فقط، ولكن قد لا يكون أداؤه هو الأمثل. قد يبدو هذا محفوفاً بالمخاطر؛ عرض نسخة غير مكتملة تماماً على العميل لاختبارها. لذا، يجب أن يكون الفريق (بما في ذلك العميل) مستعداً لذلك. الهدف من MVP هو جعله يعمل، واختباره، ومعرفة ما إذا كان يسير بالفعل في الاتجاه الصحيح لحل المشكلة ودعم الحالة التجارية.

سينمو MVP ويتحسن بمرور الوقت، لأن فريق DS سيستخدم ما تعلمه من التغذية الراجعة حول MVP لبناء نسخة محسنة. تدور منهجية Agile حول النشر المستمر والتعلم من الأخطاء، والعمل مع العميل لجعل المنتج أفضل.

الطبيعة التكرارية لمنهجية Agile. المصدر: Towards Data Science.

كما ذكرنا سابقاً، يمكن تلخيص Agile في: التخطيط، البناء، الاختبار، التعلم، ثم التكرار.

مخرجات مشروع علم البيانات (DS) بمنهجية أجايل (Agile)

تمنح طريقة عمل Agile علماء البيانات القدرة على تحديد الأولويات وإنشاء خرائط طريق بناءً على المتطلبات والأهداف. مع كل دورة تكرارية (iteration)، يمكن لعلماء البيانات تعلم شيء جديد، والحصول على نتائج أكثر دقة، والبناء عليها لتحقيق التحسين التزايدي التالي. فيما يلي بعض المخرجات الرئيسية لمشروع DS بمنهجية Agile التي تُشكل وتوجه عملية المشروع:

• بيان رؤية المشروع (Project Vision Statement): ملخص يوضح أهداف المشروع بوضوح.
• خارطة طريق المشروع (Project Roadmap): نظرة عامة عالية المستوى للمتطلبات اللازمة لتحقيق رؤية المشروع.
• قائمة المهام المتراكمة للمشروع (Project Backlog): قائمة كاملة بما هو مطلوب لدعم مشروعك، مرتبة حسب الأولوية.
• خطة الإصدار (Release Plan): جدول زمني لإصدار منتج (أو أداة) عاملة، مع التركيز على المنتج نفسه لا على التوثيق الشامل. يجب أن تكون المشاريع موثقة ذاتياً بشكل مستمر.
• قائمة مهام الدورة التكرارية (Sprint Backlog): قصص المستخدم (المتطلبات)، الأهداف، والمهام المرتبطة بالدورة التكرارية (Sprint) الحالية.
• الزيادة (Increment): وظائف المنتج العاملة التي تُقدم لأصحاب المصلحة في نهاية Sprint، ويمكن تسليمها للعميل. الهدف ليس تسليم المزيد، بل الحصول على مخرجات ذات قيمة أعلى.

ملخص: مستقبل أجايل (Agile) في علم البيانات

من المتوقع أن تتبنى المزيد من فرق مشاريع علم البيانات (DS) منهجية Agile في المستقبل القريب. وقد أفاد العديد من علماء البيانات بأنها تزيد من إنتاجيتهم. لا يرجع هذا إلى أن علماء البيانات أصبحوا أكثر مهارة بشكل مفاجئ، بل لأن Agile تساعدهم على تحسين مشاريعهم بشكل كبير. فبدلاً من إضاعة الوقت في نماذج من غير المرجح أن تكشف عن أي نتائج مثمرة، من الأفضل استغلال هذا الوقت لأغراض أخرى موجهة نحو تحقيق النتائج.

كونك “رشيقاً” (agile) أو مرناً يعني أنك بحاجة إلى تبني نهج ديناميكي في التخطيط وأن تكون قادراً على التكيف مع الاحتياجات المتغيرة للمواقف الجديدة عند ظهورها. تشجع بيئة Agile على العمل السريع، والتعلم السريع من الأخطاء، والمناقشة والتقييم، ثم المحاولة مرة أخرى باستخدام نهج مختلف أو طريقة محسنة. إنها تعمل بشكل ممتاز في البيئات الديناميكية حيث يوجد احتمال لتغير أو تطور المتطلبات باستمرار.

نتمنى لكم كل التوفيق في مشاريع علم البيانات الخاصة بكم!

الخلاصة التقنية

في جوهرها، تمثل منهجية Agile تحولاً جذرياً في طريقة إدارة المشاريع، خاصة تلك التي تتسم بالغموض والتغير المستمر مثل مشاريع علم البيانات. بدلاً من الالتزام بخطة جامدة ومفصلة مسبقاً، توفر Agile إطاراً مرناً يعتمد على التكرار، التغذية الراجعة المستمرة، والتعاون الوثيق بين جميع الأطراف المعنية. هذا النهج لا يعزز فقط الكفاءة والإنتاجية، بل يمكّن الفرق من التكيف السريع مع التحديات الجديدة واكتشاف الحلول المثلى بشكل تدريجي.

إن تطبيق مبادئ Agile في علم البيانات ليس مجرد تبني لمجموعة من الممارسات، بل هو تغيير في العقلية نحو التجريب المستمر والتعلم من الفشل السريع. إنه يضمن أن الموارد تُستثمر في المسارات الواعدة، ويقلل من المخاطر المرتبطة بالاستكشاف غير الموجه. في نهاية المطاف، تساهم Agile في تقديم منتجات ذات قيمة أعلى تتوافق بدقة مع احتياجات الأعمال المتطورة.