التعامل مع التواريخ والوقت Datetime: تحليل التوجهات الزمنية Time Series

يُعد التعامل مع التاريخ والوقت من أكثر المراحل حساسية في أي مشروع تحليلي، لأن جودة النتائج الزمنية تعتمد مباشرة على دقة تحويل الحقول الزمنية، توحيد المناطق الزمنية، ومعالجة الفجوات والانحرافات في التسلسل. وفي مشاريع Data Science الحديثة، لا يكفي تخزين التاريخ كنص، بل يجب تحويله إلى بنية قابلة للفهرسة والتجميع والتحليل الإحصائي.

تحليل Time Series يسمح باكتشاف الاتجاهات طويلة الأجل، الموسمية، الشذوذات التشغيلية، وتغير السلوك عبر الزمن. وهذا النوع من التحليل حاضر في التجارة الإلكترونية، الأنظمة المالية، الطاقة، سلاسل الإمداد، ومراقبة البنية التحتية الرقمية. وإذا كنت قد بدأت رحلتك من مدخل إلى علوم البيانات: كيف تحول الأرقام العشوائية إلى قرارات استراتيجية؟ فستجد هنا الانتقال العملي من البيانات الخام إلى التحليل الزمني المتقدم.

لماذا تمثل البيانات الزمنية تحدياً هندسياً وتحليلياً؟

البيانات الزمنية لا تتعلق فقط بعمود تاريخ، بل ببنية كاملة تشمل الترتيب، التكرار، التواتر، الدقة الزمنية، والانقطاعات. في كثير من الأنظمة تأتي التواريخ بصيغ مختلفة مثل YYYY-MM-DD أو MM/DD/YYYY أو مع طابع زمني كامل Timestamp.

المشكلة تتعقد أكثر عند دمج مصادر متعددة ضمن ETL Pipeline، حيث قد تسجل إحدى المنصات الوقت المحلي، بينما تسجل أخرى الوقت العالمي UTC. لذلك فإن أي خطأ صغير في التوحيد قد يؤدي إلى قراءات مضللة للاتجاهات اليومية أو الأسبوعية.

في معماريات البيانات الحديثة، يُفضل تخزين الوقت الخام بصيغة UTC داخل طبقة التخزين، ثم تحويله إلى المنطقة الزمنية الخاصة بالمستخدم في طبقات العرض أو التقارير. هذا يقلل التعارضات عند الدمج بين الأنظمة ويمنع ازدواجية الساعات خلال التوقيت الصيفي.

تهيئة حقول Datetime بشكل صحيح

قبل البدء في التحليل يجب تحويل العمود الزمني من نص إلى نوع زمني فعلي. في بيئات التحليل المحلية غالباً ما نستخدم Pandas، خاصة بعد تعلم أساسيات الاستدعاء من مكتبة Pandas (1): قراءة واستدعاء البيانات من ملفات CSV و Excel برمجياً وفهم البنية من مكتبة Pandas (2): استكشاف هيكل البيانات وفهم DataFrame و Series.

كما يجب التحقق من القيم الفارغة أو المشوهة، وهي خطوة ترتبط مباشرة بممارسات تنظيف البيانات (Data Cleaning): اكتشاف ومعالجة القيم المفقودة (Missing Values) ومعالجة البيانات المكررة والمشوهة (Duplicates & Outliers) باستخدام بايثون.

import pandas as pd

df = pd.read_csv("sales_timeseries.csv")

df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce", utc=True)
df = df.dropna(subset=["order_date"])

df["order_date_local"] = df["order_date"].dt.tz_convert("Asia/Riyadh")
df["year"] = df["order_date_local"].dt.year
df["month"] = df["order_date_local"].dt.month
df["day"] = df["order_date_local"].dt.day
df["weekday"] = df["order_date_local"].dt.day_name()

print(df.head())

في المثال السابق استخدمنا الخيار errors="coerce" لتحويل القيم غير الصالحة إلى NaT ثم حذفها. هذه الممارسة تمنع توقف خط التحليل بسبب سجل واحد تالف، وهو أمر بالغ الأهمية في المعالجة التشغيلية واسعة النطاق.

استخراج الأنماط الزمنية والتجميع الدوري

بعد توحيد التاريخ، تأتي مرحلة استخراج الميزات الزمنية مثل اليوم، الأسبوع، الشهر، الربع السنوي، وساعة الحدث. هذه العملية تدخل ضمن هندسة الميزات (Feature Engineering): كيف تستخرج بيانات جديدة من البيانات الحالية؟ لأنها تحول العمود الزمني الخام إلى مؤشرات تفسيرية قوية.

وعند تحليل المبيعات أو الزيارات أو الطلبات، نلجأ عادة إلى التجميع الزمني لمعرفة الاتجاه العام. ويمكن تنفيذ ذلك عبر resample أو عبر عمليات groupby كما في التجميع والتلخيص (Groupby & Aggregation): إنشاء تقارير إحصائية برمجية.

daily_sales = (
    df.set_index("order_date_local")
      .resample("D")["sales_amount"]
      .sum()
      .reset_index()
)

monthly_sales = (
    df.set_index("order_date_local")
      .resample("M")["sales_amount"]
      .sum()
      .reset_index()
)

df["hour"] = df["order_date_local"].dt.hour
hourly_pattern = df.groupby("hour")["sales_amount"].mean().reset_index()

print(daily_sales.head())
print(monthly_sales.head())
print(hourly_pattern.head())

باستخدام هذه المخرجات يمكن اكتشاف ما إذا كانت المبيعات ترتفع في عطلة نهاية الأسبوع، أو في بداية الشهر، أو ضمن ساعات معينة. كما يمكن بعد ذلك عرض النتائج بصرياً بالاعتماد على مكتبة Matplotlib: أساسيات تصوير البيانات ورسم المخططات البيانية أو مكتبة Seaborn: إنشاء رسوم بيانية إحصائية متقدمة ومريحة للعين بسطر كود واحد.

كشف الاتجاهات والموسمية والشذوذات

تحليل Time Series يرتكز غالباً على ثلاثة عناصر رئيسية:

• الاتجاه العام Trend: هل القيم تصعد أو تهبط مع الزمن؟
• الموسمية Seasonality: هل يوجد نمط متكرر يومي أو أسبوعي أو شهري؟
• الشذوذ Anomaly: هل توجد قفزة أو هبوط غير معتادين؟

من الأدوات العملية لاكتشاف الاتجاهات استخدام المتوسط المتحرك Rolling Mean، لأنه يقلل الضوضاء ويبرز المسار العام للقيم.

daily_sales["rolling_7d"] = daily_sales["sales_amount"].rolling(window=7).mean()
daily_sales["rolling_30d"] = daily_sales["sales_amount"].rolling(window=30).mean()

daily_sales["pct_change"] = daily_sales["sales_amount"].pct_change()

anomalies = daily_sales[daily_sales["pct_change"].abs() > 0.5]

print(anomalies.head())

في أنظمة التجارة الرقمية أو مراقبة الخوادم، لا ينبغي تفسير أي قفزة زمنية مباشرة كفرصة أو مشكلة قبل ربطها بسياق الأعمال، مثل الحملات التسويقية، الأعطال، العطل الرسمية، أو تغيّر سياسات التسعير. القراءة المعزولة للبيانات الزمنية كثيراً ما تقود إلى قرارات تشغيلية مضللة.

تحليل الزمن على نطاق البيانات الضخمة باستخدام PySpark

عندما يصبح حجم البيانات أكبر من قدرة الذاكرة المحلية، ينتقل العمل إلى بيئات موزعة مثل Apache Spark. هنا تكون المعالجة الزمنية جزءاً من هندسة البيانات الضخمة، خاصة عند بناء تقارير يومية أو لحظية من مليارات السجلات.

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_timestamp, date_format, sum as spark_sum

spark = SparkSession.builder.appName("TimeSeriesAnalysis").getOrCreate()

df_spark = spark.read.csv("hdfs:///data/events.csv", header=True, inferSchema=True)

df_spark = df_spark.withColumn(
    "event_time",
    to_timestamp(col("event_time"), "yyyy-MM-dd HH:mm:ss")
)

daily_metrics = (
    df_spark
    .withColumn("event_date", date_format(col("event_time"), "yyyy-MM-dd"))
    .groupBy("event_date")
    .agg(spark_sum("revenue").alias("daily_revenue"))
    .orderBy("event_date")
)

daily_metrics.show()

الميزة هنا أن التجميع يتم على مستوى موزع، ما يجعل الحسابات اليومية أو الشهرية أكثر قابلية للتوسع. كما يمكن إدخال النتائج لاحقاً إلى مخازن تحليلية أو لوحات BI لمتابعة الأداء.

دور SQL في تحليل التوجهات الزمنية

في كثير من المؤسسات تبدأ التحليلات الزمنية داخل قواعد البيانات نفسها قبل الوصول إلى طبقات Python. استخدام الدوال الزمنية في SQL يمنحك سرعة في التصفية، التقسيم، والتجميع على مستوى المصدر.

SELECT
    DATE(order_timestamp) AS order_date,
    EXTRACT(HOUR FROM order_timestamp) AS order_hour,
    SUM(total_amount) AS revenue,
    COUNT(*) AS orders_count
FROM sales_orders
WHERE order_timestamp >= CURRENT_DATE - INTERVAL '90 days'
GROUP BY DATE(order_timestamp), EXTRACT(HOUR FROM order_timestamp)
ORDER BY order_date, order_hour;

هذا النمط مهم جداً عند تصميم استعلامات تدعم لوحات المتابعة اللحظية، أو عند تطبيق الفلترة المتقدمة (Filtering & Sorting): استخراج رؤى دقيقة من ملايين السجلات على جداول ضخمة.

لتحسين الأداء، تجنب تطبيق الدوال الزمنية المكلفة مباشرة على أعمدة ضخمة داخل شرط WHERE إن كان ذلك يعطل الاستفادة من الفهارس. الأفضل غالباً إنشاء أعمدة مشتقة أو استخدام تقسيم زمني Partitioning حسب اليوم أو الشهر.

أفضل الممارسات داخل خطوط ETL

لضمان سلامة التحليل الزمني ضمن البيئات الإنتاجية، يفضل الالتزام بهذه الخطوات:

1. توحيد جميع الحقول الزمنية عند الإدخال إلى صيغة معيارية.
2. التحقق من القيم غير الصالحة أو الفارغة وإرسالها إلى مسار مراجعة.
3. إضافة أعمدة مشتقة مثل السنة والشهر والأسبوع وساعة الحدث.
4. تخزين البيانات المفهرسة زمنياً لتسريع عمليات التجميع والاسترجاع.
5. مراقبة الفجوات الزمنية والسجلات المتأخرة ضمن الأنظمة المتدفقة.

وعند دمج مصادر متعددة، يمكن الاستفادة من مفاهيم دمج وتوحيد الجداول (Merge, Join, Concat) لبناء قاعدة بيانات تحليلية شاملة لبناء رؤية زمنية موحدة عبر المبيعات، السلوك، والمخزون.

خاتمة

التعامل الاحترافي مع Datetime ليس خطوة شكلية، بل هو أساس الثقة في نتائج تحليل Time Series. كل قرار يتعلق بالاتجاهات، الموسمية، أو اكتشاف الشذوذ يبدأ من تحويل صحيح للوقت، وتخزين منظم، وتجميع ذكي على مستوى البنية التحليلية.

سواء كنت تعمل عبر Pandas في بيئة تحليل محلية، أو تبني خطوط معالجة موزعة باستخدام Spark وSQL، فإن إتقان البعد الزمني يمنحك قدرة أعلى على قراءة الواقع، التنبؤ بالسلوك، واتخاذ قرارات أكثر دقة وقابلية للتوسع.