ضبط أداء Nginx وApache كوكيل عكسي: الاتصالات الدائمة والتخزين المؤقت والزوار البطيئون

ضبط أداء Nginx وApache كوكيل عكسي: الاتصالات الدائمة والتخزين المؤقت والزوار البطيئون

ضبط أداء Nginx وApache كوكيل عكسي يبدأ من فهم ما يحدث بين الاثنين، لا من نسخ إعدادات جاهزة. فالترتيب الشائع أن يقف Nginx في الأمام يستقبل الزوار، ويمرر الطلبات إلى Apache الذي يشغل التطبيق، وهذا الترتيب قد يضاعف الأداء أو ينصفه حسب ثلاثة إعدادات: هل يفتح Nginx اتصالاً جديداً لكل طلب، وهل يخزن الردود، وهل يحمي Apache من الزوار البطيئين. وفي هذا الدليل نشغل نسخة Apache 2.4 خاصة ونسخة Nginx أمامها في المختبر، ونقيس عدد الطلبات في الثانية لصفحة بحجم 10 كيلوبايت مباشرة وعبر الوكيل بثلاثة إعدادات، ونعد الاتصالات الجديدة التي تصل إلى Apache، ثم نرسل زواراً بطيئين يحملون ملفات كبيرة ونرى كم عاملاً من عمال Apache يبقى مشغولاً.

نمر بالمختبر، ووكيل بلا اتصالات دائمة، ثم الاتصالات الدائمة مع الخلفية، والتخزين المؤقت للردود، والزوار البطيئين والذاكرة الوسيطة، وقائمة الضبط.

المختبر

Apache 2.4.58, MPM event, own instance on 127.0.0.1:9621, KeepAlive On, MaxKeepAliveRequests 1000
nginx 1.24.0, worker_processes 1, own instance:
  :9620  proxy_pass, no upstream keepalive
  :9622  upstream keepalive + proxy_http_version 1.1 + Connection ""
  :9623  same + proxy_cache (200 for 60 s)
  :9624  same as 9622 but proxy_buffering off
load: wrk -t2 -c50 -d8s  GET /page.html (10 KB), two runs each, 2 vCPU shared by all

كل الأرقام هنا من جهاز واحد بمعالجين يتشاركهما Apache وNginx وأداة القياس، فالقيم المطلقة أقل من سيرفر حقيقي، لكن المقارنة بين الإعدادات عادلة لأنها على الجهاز نفسه وبالحمل نفسه. وكررنا كل قياس مرتين. وعددنا الاتصالات الجديدة إلى Apache بالتقاط حزم SYN على المنفذ 9621 أثناء القياس، بالطريقة المشروحة في تحليل حركة الشبكة بـ tcpdump وtshark.

وكيل بلا اتصالات دائمة

                                   run 1                 run 2
Apache direct                      23,713 req/s          25,996 req/s
nginx -> Apache, no keepalive       7,486 req/s  6.70 ms   8,608 req/s  5.82 ms
5 s run through :9620:   36,000 requests   36,048 new TCP connections to Apache
اتصال لكل طلب
اتصال لكل طلب

هذه هي النتيجة التي يصل إليها من يضع Nginx أمام Apache بسطر proxy_pass وحده: الأداء انخفض إلى نحو ثلث الاتصال المباشر. والسبب ظاهر في العدد الثاني: كل طلب فتح اتصال TCP جديداً إلى Apache ثم أغلقه، فستة وثلاثون ألف طلب صارت ستة وثلاثين ألف مصافحة. فالإعداد الافتراضي في Nginx يكلم الخلفية بـ HTTP/1.0 ويغلق الاتصال بعد كل رد. وعلى سيرفر مشغول، يملأ ذلك أيضاً جدول المنافذ المؤقتة بآلاف الاتصالات المغلقة حديثاً.

الاتصالات الدائمة مع الخلفية

upstream apache {
    server 127.0.0.1:9621;
    keepalive 32;              # idle connections kept per worker
}
location / {
    proxy_pass http://apache;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
}
keepalive 32:  16,989 / 16,007 req/s, 3.05 / 3.13 ms     1,114 new connections for 73,448 requests
keepalive 64:  13,636 / 20,321 req/s                     93 and 99 new connections for 68,434 / 101,641 requests
حوض الاتصالات الدائمة
حوض الاتصالات الدائمة

ثلاثة أسطر ضاعفت الإنتاجية وأنصفت الزمن. والسطر keepalive يحدد كم اتصالاً خاملاً يبقيه كل عامل في Nginx مفتوحاً، والسطران الآخران ضروريان: بدون HTTP/1.1 وحذف ترويسة Connection يبقى كل شيء كما كان. ولاحظ الرقم 32 مع خمسين زائراً متزامناً: ما زاد عن الحوض فُتح وأُغلق، فبقي أكثر من ألف اتصال جديد. ومع 64 انخفض العدد إلى نحو مئة، وهي تقريباً عدد الطلبات مقسوماً على ألف، لأن Apache يغلق كل اتصال بعد ألف طلب بإعداده MaxKeepAliveRequests. فاجعل الحوض أكبر من التزامن المعتاد مع الخلفية.

التخزين المؤقت للردود

proxy_cache_path /var/cache/nginx/lab levels=1:2 keys_zone=lab:10m max_size=50m inactive=10m;
proxy_cache lab;  proxy_cache_valid 200 60s;  proxy_cache_lock on;
add_header X-Cache-Status $upstream_cache_status;     # MISS, then HIT
:9623 with cache:  79,794 / 76,285 req/s     Apache hits during the run: 0 / 1
5 s run: 390,744 requests, 0 new connections to Apache
التخزين المؤقت
التخزين المؤقت

مع التخزين المؤقت لم يصل إلى Apache إلا الطلب الأول بعد انتهاء الصلاحية، وأجاب Nginx من ذاكرته بنحو 78 ألف طلب في الثانية، أي ثلاثة أضعاف Apache المباشر. والترويسة X-Cache-Status طريقتك لتعرف إن كان الرد من الذاكرة. والخيار proxy_cache_lock مهم: حين تنتهي صلاحية صفحة مشهورة، يرسل طلباً واحداً إلى الخلفية ويُبقي الباقين ينتظرونه، بدل أن يضرب Apache مئات الطلبات المتزامنة. وانتبه لما لا يجوز تخزينه: الصفحات الخاصة بمستخدم مسجل، وكل ما يحمل ترويسة Set-Cookie.

الزوار البطيئون والذاكرة الوسيطة

5 clients, 30 MB file each, curl --limit-rate 5M (about 6 s per client)
                              Apache BusyWorkers at 2.5 s    Apache time per request (%D)
direct to Apache              6                              4051 - 4994 ms
nginx, proxy_buffering on     1                              115 - 194 ms
nginx, proxy_buffering off    6                              2993 - 3767 ms
الزوار البطيئون
الزوار البطيئون

هنا الفائدة الحقيقية للوكيل. الزائر على شبكة جوال بطيئة يحمل الرد ببطء، وطوال ذلك يبقى عامل Apache الذي يرسله مشغولاً. في الاتصال المباشر بقي خمسة عمال مشغولين بين أربع وخمس ثوان لكل زائر. ومع الذاكرة الوسيطة في Nginx، أخذ Nginx الرد كاملاً من Apache في أقل من خُمس ثانية، ثم أرسله للزائر على مهله، فلم يبقَ مشغولاً عند Apache إلا عامل طلب الحالة نفسه. وحين عطلنا الذاكرة الوسيطة عاد Apache يحمل الزوار البطيئين بنفسه. والزائر لم يشعر بفرق في الحالات الثلاث، فكلها أخذت نحو ست ثوان، لكن Apache تحرر لخدمة غيره. وعطل الذاكرة الوسيطة فقط للبث المستمر أو الأحداث الحية.

قائمة الضبط

upstream keepalive  >= usual concurrency to the backend, with proxy_http_version 1.1 + Connection ""
proxy_buffering     on (default); off only for streaming / server-sent events
proxy_cache         for public pages, with proxy_cache_lock on and a short validity
Apache              MPM event, KeepAlive On, MaxKeepAliveRequests high enough for the proxy
check               X-Cache-Status, new connections per second, BusyWorkers in server-status

اقرأ القائمة كترتيب للعمل: الاتصالات الدائمة أولاً لأنها بلا مخاطر وأثرها مضاعف، ثم تأكد أن الذاكرة الوسيطة مفعلة، ثم التخزين المؤقت للصفحات العامة بعد أن تحدد بدقة ما يجوز تخزينه. وإن تجاوزت الحاجة سيرفر Apache واحداً، يصير السطر upstream قائمة سيرفرات، أو تضع موازن أحمال مستقلاً أمامها كما في موازنة الأحمال بـ HAProxy.

أخطاء شائعة

keepalive دون proxy_http_version 1.1

يبقى كل طلب باتصال جديد كأن السطر غير موجود.

حوض أصغر من التزامن

32 مع خمسين زائراً فتحت أكثر من ألف اتصال.

تخزين صفحات المستخدمين المسجلين

زائر يرى صفحة غيره، فاستثنِ ما يحمل ملفات تعريف الجلسة.

تعطيل الذاكرة الوسيطة لحل مشكلة

يعيد الزوار البطيئين إلى عمال Apache.

أسئلة يطرحها الناس

لماذا لا أستغني عن Apache؟

إن كان التطبيق يعتمد على htaccess أو وحدات Apache فالترتيب معاً منطقي، وإلا فـ Nginx مع PHP-FPM مباشرة أبسط.

هل أزيد worker_processes؟

اجعله auto ليساوي عدد المعالجات، وفي مختبرنا كان واحداً فقط ومع ذلك تجاوز Apache المباشر بالتخزين المؤقت.

الخلاصة

وكيل بلا اتصالات دائمة فتح اتصالاً لكل طلب وخفض الأداء من نحو 25 ألف طلب في الثانية إلى 8 آلاف. والاتصالات الدائمة رفعته إلى نحو 17 ألفاً وخفضت الاتصالات الجديدة إلى أقل من مئة مع حوض 64، والتخزين المؤقت أعطى نحو 78 ألفاً دون أن يصل شيء إلى Apache. والذاكرة الوسيطة حررت عمال Apache من الزوار البطيئين، فصار وقت الطلب عنده أقل من 200 مللي ثانية بدل أربع إلى خمس ثوان.