موازنة الأحمال بـ HAProxy: التوزيع وفحص الصحة والجلسات الثابتة بالقياس

موازنة الأحمال بـ HAProxy: التوزيع وفحص الصحة والجلسات الثابتة بالقياس

موازنة الأحمال بـ HAProxy تعني أن يقف أمام سيرفراتك عنوان واحد يستقبل الزوار، ويوزعهم على عدة نسخ من التطبيق، ويتوقف عن إرسالهم إلى أي نسخة تتعطل. والنتيجة أن تتحمل أكثر، وأن تحدّث نسخة دون أن يرى الزائر خطأ. لكن ثلاثة أسئلة عملية تحدد إن كان الإعداد جيداً: هل التوزيع كما تتوقع، وكم ثانية يرسل HAProxy الزوار إلى سيرفر ميت قبل أن يكتشفه، وكم يضيف هو نفسه من الزمن. وفي هذا الدليل نشغل ثلاثة سيرفرات nginx خلف HAProxy 2.8 في المختبر، ونعد الطلبات على كل سيرفر، ثم نقتل أحدها أثناء 400 طلب ونقيس الأخطاء مع خيار إعادة التوجيه وبدونه، ونقارن الإنتاجية مباشرة وعبر الموازن، ونجرب الجلسات الثابتة.

نمر بالإعداد الأساسي، والتوزيع والأوزان، وفحص الصحة وزمن الاكتشاف، وإعادة المحاولة على سيرفر آخر، وكلفة الموازن، ثم الجلسات الثابتة وصفحة الإحصاءات.

الإعداد الأساسي

global
  log stdout format raw local0
  stats socket /run/haproxy-lab.sock mode 600 level admin
defaults
  mode http
  option httplog
  timeout connect 2s
  timeout client 10s
  timeout server 10s
  option redispatch
  retries 2
frontend fe
  bind 127.0.0.1:9610
  default_backend be
backend be
  balance roundrobin
  option httpchk GET /health
  http-check expect status 200
  default-server check inter 1s fall 3 rise 2
  server s1 127.0.0.1:9611
  server s2 127.0.0.1:9612
  server s3 127.0.0.1:9613
الواجهة والخلفية
الواجهة والخلفية

الإعداد قسمان رئيسيان: الواجهة frontend تحدد أين يستمع الموازن، والخلفية backend تحدد السيرفرات وطريقة التوزيع. والسطر default-server يطبق على كل سيرفر فحص صحة كل ثانية، فإن فشل ثلاث مرات متتالية عُد ميتاً، وإن نجح مرتين بعدها عاد. والفحص طلب HTTP حقيقي لمسار health، لا مجرد فتح منفذ، فيكتشف التطبيق المعطل الذي ما زال يقبل الاتصالات. وتحقق من الملف دائماً بالأمر haproxy -c -f قبل إعادة التحميل.

التوزيع والأوزان

balance roundrobin, 30 requests:    s1 10   s2 10   s3 10
order of responses:                 s2 s3 s1 s2 s3 s1 ...
s1 weight 3, 50 requests:           s1 30   s2 10   s3 10
order of responses:                 s1 s1 s2 s1 s3 s1 s1 s2 s1 s3
التوزيع والأوزان
التوزيع والأوزان

التوزيع الدوري أعطى كل سيرفر عشرة طلبات من ثلاثين بالضبط. ومع وزن 3 للسيرفر الأول، أخذ ثلاثة أخماس الطلبات، ولاحظ أن HAProxy لا يرسل له ثلاثة طلبات متتالية ثم ينتقل، بل يوزعها بين الآخرين بالتناوب، فلا يتعرض لدفعات مفاجئة. والأوزان مفيدة حين تختلف قدرات السيرفرات، أو حين تريد تجربة إصدار جديد على جزء صغير من الزوار بوزن منخفض. وطرق أخرى مثل leastconn ترسل الطلب إلى السيرفر الأقل اتصالات، وتناسب الطلبات الطويلة كرفع الملفات.

فحص الصحة وزمن الاكتشاف

400 requests, one every ~20 ms; s2 killed at 2.0 s, started again at 8.0 s
                                    retries 0, no redispatch    option redispatch + retries 2
kill s2                             2005 ms                     2003 ms
s2 marked DOWN                      4971 ms  (+2.97 s)          5024 ms  (+3.02 s)
s2 started                          8010 ms                     8007 ms
s2 marked UP                        9940 ms  (+1.93 s)          10018 ms (+2.01 s)
responses                           376 x 200, 24 x 503         400 x 200
errors between                      2015 ms and 4804 ms         none
log: Server be/s2 is DOWN, reason: Layer4 connection problem, info: "Connection refused"
زمن اكتشاف السيرفر الميت
زمن اكتشاف السيرفر الميت

بعد قتل السيرفر الثاني، احتاج HAProxy ثلاث ثوان ليعلنه ميتاً، وهي بالضبط ثلاثة فحوص فاشلة بفاصل ثانية. وفي هذه الثواني الثلاث، دون أي إعادة محاولة، أصاب الخطأ 503 كل طلب وقع دوره على السيرفر الميت: 24 طلباً في نافذة 2.8 ثانية. وحين عاد السيرفر، احتاج فحصين ناجحين، أي ثانيتين، قبل أن يستقبل الزوار من جديد. فمعادلة زمن الاكتشاف بسيطة: inter مضروباً في fall. وتقصير الفاصل يكشف أسرع، لكنه يزيد طلبات الفحص على كل سيرفر.

إعادة المحاولة على سيرفر آخر

في التجربة الثانية أضفنا retries 2 مع option redispatch، فصار الطلب الذي يفشل اتصاله بسيرفر يعاد إلى سيرفر آخر بدل أن يعود خطأ إلى الزائر. والنتيجة 400 طلب ناجح من 400، رغم أن الموازن احتاج الثواني الثلاث نفسها ليكتشف السيرفر الميت. وهذا يعمل لأن السيرفر الميت يرفض الاتصال فوراً، فيعرف HAProxy أن الطلب لم يصل. أما السيرفر الذي يقبل الاتصال ثم يعلق، فلا تُعاد طلباته تلقائياً، لأن إعادة طلب ربما نُفذ نصفه قد تكرر عملية دفع أو كتابة، ولهذا يبقى الفحص بمسار health الحقيقي ضرورياً.

كلفة الموازن

wrk -t2 -c50 -d8s           requests/s     avg latency
direct to s1 (run 1)         127,166        0.52 ms
via HAProxy  (run 1)          53,567        0.97 ms
direct to s1 (run 2)         133,951        0.48 ms
via HAProxy  (run 2)          50,625        1.03 ms
(wrk, HAProxy and the three nginx share the same 2 vCPUs)
كلفة الموازن
كلفة الموازن

عبر الموازن انخفضت الإنتاجية إلى نحو 40% وتضاعف الزمن، لكن هذا الرقم يبالغ في الكلفة: أداة القياس والموازن والسيرفرات الثلاثة تتنافس على معالجين فقط، وصفحة الاختبار سطر واحد يرده nginx دون أي عمل. وفي الواقع يعمل الموازن على جهاز منفصل، والتطبيق يحتاج مللي ثوان لكل طلب، فيصبح نصف المللي ثانية الذي يضيفه HAProxy صغيراً. ومراقبة هذه الأرقام على مدى أيام مشروحة في مراقبة الأنظمة بـ Prometheus وGrafana.

الجلسات الثابتة وصفحة الإحصاءات

backend be
  cookie SRV insert indirect nocache
  server s1 127.0.0.1:9611 cookie s1 ...
first response:   set-cookie: SRV=s1; path=/
20 requests with the cookie:     s1 20
20 requests without a cookie:    s1 6   s2 7   s3 7
stats (bind 127.0.0.1:9614, uri /stats;csv)   s1 UP  s2 UP chkfail=3 downtime=5  s3 UP

بعض التطبيقات تحفظ الجلسة في ذاكرة السيرفر، فإن ذهب الزائر إلى سيرفر آخر خرج من حسابه. وخيار cookie يضيف ملف تعريف باسم السيرفر في أول رد، فذهبت الطلبات العشرون التي تحمله كلها إلى السيرفر نفسه، والطلبات بلا ملف تعريف وُزعت عادياً. والحل الأفضل على المدى البعيد حفظ الجلسات في Redis أو قاعدة البيانات، فلا يحتاج التطبيق التثبيت أصلاً. وصفحة الإحصاءات تعرض حالة كل سيرفر وعدد فحوصه الفاشلة وثواني توقفه، فأظهرت السيرفر الثاني بثلاثة فحوص فاشلة وخمس ثوان توقف. واجعلها على عنوان داخلي فقط. وتقسيم العمل بين HAProxy وNginx كوكيل عكسي في ضبط أداء Nginx وApache كوكيل عكسي.

أخطاء شائعة

فحص بفتح المنفذ فقط

التطبيق المعطل يقبل الاتصال ويبقى في التوزيع.

نسيان option redispatch

كل طلب على السيرفر الميت خطأ حتى يُكتشف.

صفحة الإحصاءات على عنوان عام

تكشف بنية سيرفراتك، فاجعلها داخلية وبكلمة مرور.

إعادة التحميل دون haproxy -c

خطأ في الملف يوقف الموازن كله.

أسئلة يطرحها الناس

HAProxy أم Nginx للموازنة؟

كلاهما يوازن، وHAProxy أغنى في فحوص الصحة والإحصاءات وموازنة TCP، وNginx أنسب حين تحتاج معه خدمة الملفات الثابتة والتخزين المؤقت.

ماذا لو سقط HAProxy نفسه؟

يصبح نقطة فشل واحدة، فيُشغل اثنان بعنوان عائم مشترك عبر keepalived.

الخلاصة

وزع HAProxy ثلاثين طلباً عشرة لكل سيرفر، وأعطى السيرفر بوزن 3 ثلاثين من خمسين. واكتشف السيرفر الميت بعد 3 ثوان وأعاده بعد ثانيتين، وأصاب الخطأ 503 أربعة وعشرين طلباً بلا إعادة محاولة مقابل صفر معها. وعلى معالجين مشتركين خفض الموازن الإنتاجية من نحو 130 ألف طلب إلى 52 ألفاً وأضاف نحو نصف مللي ثانية، وثبّت ملف التعريف عشرين طلباً على سيرفر واحد.