إدارة الذاكرة في لينكس: Swap وقاتل OOM ومؤشر الضغط PSI بتجربة نفاد حقيقية
إدارة الذاكرة في لينكس تظهر للمدير في ثلاث لحظات: حين يقرأ free فيظن أن الذاكرة نفدت، وحين يبطئ الخادم لأن النواة بدأت تنقل الصفحات إلى الذاكرة البديلة swap، وحين يختفي برنامج فجأة لأن قاتل OOM أنهاه. وفي هذا المقال نصنع اللحظات الثلاث عمداً في آلة QEMU بنواة أوبونتو 6.8 وذاكرة 1.5 غيغابايت: نطلب ذاكرة أكثر من المتاحة ونراقب swap بالأمر vmstat ومؤشر الضغط PSI، ثم نحصر برنامجاً في حد 100 ميغابايت حتى يُقتل، ثم نرى كيف يختار القاتل ضحيته حين تتنافس عمليتان.
نمر بقراءة free، وswap تحت الضغط، ومؤشر ضغط الذاكرة، وقاتل OOM داخل cgroup، واختيار الضحية بـ oom_score_adj، ثم إعدادات عملية للخادم.
قراءة free: العمود available
$ free -m
total used free shared buff/cache available
Mem: 1462 126 1400 0 13 1335
Swap: 0 0 0
$ cat /proc/sys/vm/swappiness
60

العمود المهم هو available لا free. فالنواة تستعمل الذاكرة الفارغة مخزناً مؤقتاً للملفات buff/cache، وتستردها فوراً إن احتاجها برنامج، لذلك قد ترى free صغيراً على خادم سليم تماماً. وavailable تقدير النواة لما يمكن إعطاؤه لبرنامج جديد دون اللجوء إلى swap. وفي آلتنا الجديدة كانت 1335 من 1462 ميغابايت، والفرق ذاكرة النواة نفسها. والقيمة swappiness الافتراضية 60 تحدد ميل النواة إلى نقل صفحات البرامج إلى swap مقارنة بإسقاط ذاكرة الملفات المؤقتة.
swap تحت الضغط
mkswap /dev/vda && swapon /dev/vda # 512 MiB swap
stress-ng --vm 1 --vm-bytes 1650M --vm-keep -t 25 & # more than RAM
vmstat 2 12
# swpd free si so sy id
# 0 1082608 0 0 43 53
# 73116 72384 292 31232 84 15
# 212432 53444 0 52092 95 2
# 333424 76496 21470 22480 63 34
grep -E 'pswpin|pswpout' /proc/vmstat # pswpin 64189 pswpout 147022

طلبنا 1650 ميغابايت على آلة فيها 1462، فنزل free إلى 53 ميغابايت في أدنى قراءة وبدأ العمود swpd يكبر حتى 333 ميغابايت. والعمودان so وsi هما ما تراقبه: so كتابة إلى swap وبلغت 61 ميغابايت في الثانية، وsi قراءة منها وظهرت حين احتاج البرنامج صفحات نُقلت. وعلى مدى التجربة كُتبت 147022 صفحة، أي نحو 574 ميغابايت، وقُرئت 64189. وswap موجودة ومستعملة ليس خطأ بحد ذاته، فالصفحات الخاملة مكانها هناك. الخطر في si وso مرتفعين معاً ولفترة طويلة، فهذا يعني أن البرنامج يحتاج ما نُقل ويعيد قراءته باستمرار.
مؤشر ضغط الذاكرة PSI
/proc/pressure/memory before: some avg10=0.00 full avg10=0.00
/proc/pressure/memory after: some avg10=30.98 avg60=10.07 avg300=2.37
full avg10=30.13 avg60=9.64 avg300=2.26
بعد التجربة قال PSI إن نحو 31 بالمئة من آخر عشر ثوانٍ كانت فيها مهمة تنتظر الذاكرة، وكل المهام معاً انتظرت 30 بالمئة. والسطر full هنا مهم: هو الوقت الذي لم ينجز فيه النظام أي عمل مفيد بسبب الذاكرة. وهذا أوضح من النظر إلى swpd، لأن swap ممتلئة بصفحات خاملة لا تسبب ضغطاً، بينما swap صغيرة يُقرأ منها باستمرار تسببه. وأدوات مثل systemd-oomd تتخذ قرارها من هذا المؤشر لا من حجم الذاكرة الحرة، وقراءة PSI للمعالج والخنق في مراقبة المعالج والذاكرة وPSI.
قاتل OOM داخل مجموعة تحكم
mkdir /sys/fs/cgroup/app
echo 100M > /sys/fs/cgroup/app/memory.max
echo 0 > /sys/fs/cgroup/app/memory.swap.max
# python appends 10 MB chunks inside the group
# MB 80
# MB 90
# exit=137
cat /sys/fs/cgroup/app/memory.events # max 55 oom 1 oom_kill 1
dmesg | grep -E 'oom-kill|Killed process'
# oom-kill:constraint=CONSTRAINT_MEMCG,...,oom_memcg=/app,task=python3,pid=210
# Memory cgroup out of memory: Killed process 210 (python3) total-vm:138672kB, anon-rss:101888kB

حين تنفد الذاكرة ولا يبقى ما يُسترد، تختار النواة عملية وتقتلها بالإشارة SIGKILL، فخرج البرنامج بالرمز 137 وهو 128 مع رقم الإشارة 9، دون أي رسالة منه لأنه لا يستطيع التقاطها. والسجل في dmesg هو الدليل الوحيد: CONSTRAINT_MEMCG تعني أن السبب حد المجموعة لا ذاكرة الجهاز، ومعه اسم العملية ورقمها والذاكرة التي كانت تحملها، 101888 كيلوبايت أي حد المجموعة تقريباً. والعدّاد max في memory.events سجل 55 مرة اصطدمت فيها المجموعة بالسقف قبل القتل. فإذا اختفت خدمة دون سجل، ابحث أولاً بالأمر journalctl -k أو dmesg عن Killed process.
من يُقتل: oom_score وoom_score_adj
group limit 200M, swap 0
P1 holds 110 MB oom_score_adj=0 oom_score=720 VmRSS=119956 kB
P2 holds 40 MB oom_score_adj=1000 oom_score=1353 VmRSS=48256 kB
a third process asks for 70 MB -> grower ok
P1 alive P2 killed
Memory cgroup out of memory: Killed process 220 (python3) ... oom_score_adj:1000

القاتل يختار العملية ذات oom_score الأعلى، والدرجة تُحسب من حجم ما تحمله العملية من ذاكرة، ثم يضاف إليها oom_score_adj من -1000 إلى 1000. فالعملية الأولى تحمل 110 ميغابايت ودرجتها 720، والثانية تحمل 40 فقط لكن تعديلها 1000 فصارت درجتها 1353. ولما طلبت عملية ثالثة 70 ميغابايت قُتلت الثانية الصغيرة ونجت الكبيرة. هكذا تحمي قاعدة بيانات بتعديل سالب، وتجعل مهام قابلة للإعادة أول الضحايا بتعديل موجب. والقيمة -1000 تمنع القتل تماماً، فاستعملها لعملية واحدة لا يقوم النظام دونها، لا لكل شيء.
إعدادات عملية للخادم
# /etc/systemd/system/worker.service.d/limits.conf (documented, systemd not running in the lab)
[Service]
MemoryHigh=400M
MemoryMax=500M
OOMScoreAdjust=500
# /etc/sysctl.d/90-swap.conf
vm.swappiness = 10

القيم التي جربناها يدوياً في /sys/fs/cgroup يكتبها systemd نيابة عنك من خصائص الخدمة: MemoryHigh يبطئ الخدمة قبل حدها، وMemoryMax يقتلها داخل مجموعتها دون أن يمس بقية الخادم، وOOMScoreAdjust يضبط ترتيبها. وعلى خادم قاعدة بيانات يُخفض swappiness عادة إلى 10 حتى تبقى صفحات القاعدة في الذاكرة، وطريقة تثبيت هذه القيم بعد إعادة الإقلاع في ضبط النواة عبر proc/sys. أما zram، أي swap مضغوطة داخل الذاكرة، فلم نقسها هنا لأن وحدتها في حزمة إضافية لم تكن في آلة التجربة.
أخطاء شائعة
الحكم على الذاكرة من العمود free
اقرأ available، فالذاكرة المؤقتة تُسترد عند الحاجة.
إلغاء swap تماماً
بلا swap يأتي قاتل OOM أسرع، ولا تجد الصفحات الخاملة مكاناً تذهب إليه.
البحث عن سبب الاختفاء في سجل البرنامج
SIGKILL لا يترك للبرنامج فرصة للكتابة، والدليل في سجل النواة.
وضع -1000 لكل الخدمات
إن حُمي الجميع لم يبق للقاتل ما يختاره إلا الأسوأ.
أسئلة يطرحها الناس
كم يجب أن يكون حجم swap؟
على خادم لا يدخل السبات يكفي مقدار صغير كنصف غيغابايت إلى غيغابايتين لتستقبل الصفحات الخاملة، والحجم الكبير يؤخر القتل ويطيل البطء.
لماذا قُتل برنامج والذاكرة الحرة كبيرة؟
غالباً بسبب حد مجموعته لا ذاكرة الجهاز، وهذا ما تقوله CONSTRAINT_MEMCG في السجل.
الخلاصة
حين طلبنا 1650 ميغابايت على 1462 وصلت swap إلى 333 ميغابايت وكُتبت 147022 صفحة، وقال PSI إن الذاكرة أوقفت كل المهام 30 بالمئة من الوقت. وفي حد 100 ميغابايت قُتل البرنامج بالرمز 137 بعد 55 اصطداماً بالسقف، وبين عمليتين قُتلت التي تحمل 40 ميغابايت بدرجة 1353 لأن تعديلها 1000، ونجت التي تحمل 110 بدرجة 720.


