eBPF لمراقبة نواة لينكس: تتبع الملفات والعمليات وزمن القراءة بـ bpftrace وقياس كلفته

eBPF لمراقبة نواة لينكس: تتبع الملفات والعمليات وزمن القراءة بـ bpftrace وقياس كلفته

eBPF لمراقبة نواة لينكس يعني أن تكتب برنامجاً صغيراً يعمل داخل النواة نفسها عند حدث تختاره، كفتح ملف أو بدء عملية أو انتهاء قراءة من القرص، فيجمع أرقاماً ويرسلها إليك دون أن يوقف البرنامج المراقب عند كل خطوة. وهذا ما يميزه عن strace. وفي هذا المقال نستعمل bpftrace 0.20.2 وbpftool 7.4.0 داخل آلة QEMU بنواة أوبونتو 6.8، لأن نواة آلة المختبر الأولى لا تكشف نقاط kprobe ولا tracefs. نعد استدعاءات النظام لكل برنامج، ونرى الملفات التي يفتحها مفسر بايثون، ونرسم توزيع زمن القراءة من القرص، ونلتقط بدء العمليات، ثم نقيس كلفة التتبع مقارنة بـ strace على العمل نفسه.

نمر بالفكرة والتحقق، ونقاط التعلق المتاحة، ومن يستدعي النواة، وأي الملفات تُفتح، وتوزيع زمن القراءة، وأخيراً الكلفة.

الفكرة: برنامج صغير يتحقق منه قبل تشغيله

cat /proc/sys/net/core/bpf_jit_enable        # 1  (programs are compiled to native code)
bpftrace -v -e 'kprobe:vfs_read { @x[tid] = 1; }' -c /bin/true
#  The verifier log:
#  processed 15 insns (limit 1000000) max_states_per_insn 0 total_states 1 peak_states 1
bpftool prog list
#  33: tracepoint  name sys_enter  tag de4d8f45e54cc6ee  gpl
#      xlated 192B  jited 117B  memlock 4096B  map_ids 32
المتحقق والبرنامج المحمّل
المتحقق والبرنامج المحمّل

قبل أن يُحمّل البرنامج في النواة يمر على المتحقق verifier، الذي يفحص كل مسار ممكن فيه: لا حلقات بلا نهاية، ولا قراءة ذاكرة دون فحص، ولا تجاوز للحدود. وبرنامجنا الصغير فُحص في 15 تعليمة من حد مليون. ثم يُترجم إلى تعليمات المعالج مباشرة، وbpftool أظهر برنامجاً محمّلاً حجمه 192 بايت بعد الترجمة الوسيطة و117 بايت بعد الترجمة النهائية، ومعه خريطة map يتبادل بها الأرقام مع bpftrace. وحاولنا قراءة مؤشر فارغ داخل البرنامج، فلم تنهر النواة، بل أعادت القراءة صفراً، لأن bpftrace يقرأ ذاكرة النواة بدوال قراءة آمنة. هذا ما يجعل eBPF صالحاً لخادم يعمل، بشرط صلاحية root.

نقاط التعلق: tracepoints وkprobes

bpftrace -l 'tracepoint:syscalls:*' | wc -l    # 712
bpftrace -l 'kprobe:*' | wc -l                  # 57832
bpftrace -l 'tracepoint:sched:*'                # sched_process_exec, sched_switch ...

tracepoints نقاط ثابتة وضعها مطورو النواة عمداً، بأسماء وحقول لا تتغير بين الإصدارات، ومنها 712 لاستدعاءات النظام وحدها، دخولاً وخروجاً. أما kprobes فتتعلق ببداية أي دالة تقريباً في النواة، وهنا 57832 دالة، لكن أسماءها ووسائطها قد تتغير مع كل إصدار. فالقاعدة: استعمل tracepoint إن وُجد، وkprobe حين تحتاج دالة داخلية لا نقطة لها. والنواة التي جربنا عليها تكشف أنواع البيانات عبر BTF، فلا يحتاج bpftrace ملفات رؤوس النواة.

من يستدعي النواة

bpftrace -q -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }
                interval:s:5 { print(@, 5); clear(@); exit(); }'
#  @[bpftrace]: 116
#  @[cat]: 616
#  @[bash]: 826
#  @[ls]: 1133
bpftrace -q -e 'tracepoint:sched:sched_process_exec { printf("exec %s\n", str(args->filename)); }'
#  exec /bin/bash   exec /usr/bin/date   exec /usr/bin/id   exec /usr/bin/uname
من يستدعي النواة
من يستدعي النواة

أول سؤال على خادم مزدحم: من يكلم النواة أكثر؟ في خمس ثوانٍ وأثناء حلقة تشغل cat وls، عدّ البرنامج كل دخول إلى استدعاء نظام وجمعه حسب اسم البرنامج داخل النواة، فلم ينقل إلينا إلا أربعة أرقام في النهاية. والسطر الثاني يطبع كل برنامج يبدأ، وهو مفيد لاكتشاف سكربت cron يشغل أوامر قصيرة لا تظهر في top لأنها تنتهي قبل أن يراها. وهذه الأسئلة نفسها التي يجيب عنها strace لبرنامج واحد، لكن هنا للنظام كله دفعة واحدة، والمقارنة مع strace في فهم استدعاءات النظام.

أي الملفات تُفتح

bpftrace -q -e 'tracepoint:syscalls:sys_enter_openat /comm == "python3"/
    { printf("%s\n", str(args->filename)); }' -c "/bin/bash /tmp/w_py.sh"   # python3 -c "import json"
#  60 lines: /etc/ld.so.cache, /lib/x86_64-linux-gnu/libm.so.6, /usr/local/lib/libz.so.1, ...
bpftrace -q -e 'tracepoint:syscalls:sys_exit_openat /comm == "python3" && args->ret < 0/ { @failed = count(); }
                tracepoint:syscalls:sys_exit_openat /comm == "python3" && args->ret >= 0/ { @ok = count(); }' -c ...
#  @failed: 7     @ok: 51
الملفات المفتوحة
الملفات المفتوحة

الشرط بين الشرطتين المائلتين مرشح يُنفذ داخل النواة، فلا يصلنا إلا ما يخص python3. واستيراد وحدة json فتح 60 ملفاً، أولها ذاكرة المكتبات المؤقتة ثم المكتبات المشتركة ثم ملفات اللغة. وفي التشغيل الثاني عددنا نتيجة الخروج من الاستدعاء بدل الدخول، فرأينا 7 محاولات فتح فاشلة و51 ناجحة دون طباعة أي مسار. وهذه هي الفكرة القوية: تجمع داخل النواة ولا تنقل إلا الخلاصة. ونبهنا bpftrace بتحذير Addrspace mismatch لأننا قارنا قيمة من مساحة النواة، ولم يغير ذلك النتيجة.

توزيع زمن القراءة بـ kprobe

kprobe:vfs_read    /comm == "dd"/ { @s[tid] = nsecs; }
kretprobe:vfs_read /@s[tid]/      { @us = hist((nsecs - @s[tid]) / 1000); delete(@s[tid]); }

cold cache: 4.10 s, 16.4 MB/s           warm cache: 0.20 s, 331 MB/s
usecs        count                       usecs        count
[64, 128)       18                       [16, 32)         1
[128, 256)     407                       [64, 128)      217
[256, 512)      90                       [128, 256)     758
[512, 1K)      283                       [256, 512)      36
[1K, 2K)        96                       [512, 1K)        8
[2K, 4K)        13                       [1K, 2K)         3
[4K, 8K)        21                       [2K, 4K)         3
[8K, 16K)       31                       [4K, 8K)         2
[16K, 32K)      20
[32K, 64K)      40
[64K, 128K)      9
توزيع زمن القراءة
توزيع زمن القراءة

نسجل الوقت عند دخول دالة vfs_read ونطرحه عند خروجها، ثم نضع الفرق بالميكروثانية في مدرج تكراري. وفي القراءة الأولى بعد إفراغ الذاكرة المؤقتة ظهر ذيل طويل: 100 قراءة أخذت بين 8 و128 مللي ثانية لأنها انتظرت القرص، والملف قُرئ بسرعة 16.4 ميغابايت في الثانية. وفي القراءة الثانية من الذاكرة تجمعت كل القراءات تقريباً تحت 256 ميكروثانية وارتفعت السرعة إلى 331. والمتوسط وحده لا يُظهر هذا الذيل، والمدرج يُظهره فوراً، وهو أداة تشخيص البطء المتقطع، وطريقة تحويل هذه الأدلة إلى إصلاح في ضبط أداء لينكس واستكشاف الأعطال.

الكلفة: bpftrace مقابل strace

dd if=/dev/zero of=/dev/null bs=1 count=30000   (about 60000 syscalls), QEMU VM

no tracing                         0.16 - 0.25 s
strace -c                          21.89 s, 25.38 s, 35.86 s
bpftrace counting dd syscalls      0.21 s     (@c: 60046)
earlier run, count=300000:  no tracing 0.82 s   strace 204.91 s
الكلفة مقابل strace
الكلفة مقابل strace

على برنامج يكثر من الاستدعاءات الصغيرة، أبطأته strace أكثر من مئة مرة، لأن النواة توقف البرنامج عند كل استدعاء وتنقل التحكم إلى strace ثم تعيده. أما bpftrace فعدّ 60046 استدعاء داخل النواة ولم يتغير زمن البرنامج تقريباً. والآلة هنا تحاكي المعالج برمجياً فتضخم كلفة كل تبديل، لكن الفرق في الاتجاه نفسه على أي جهاز. ولهذا eBPF هو الخيار على خادم إنتاج، وstrace لبرنامج واحد في جلسة تشخيص قصيرة. والأدوات الجاهزة في حزمة bpfcc-tools مثل opensnoop وexecsnoop وbiolatency تقدم ما كتبناه هنا بسطر واحد.

أخطاء شائعة

طباعة كل حدث

اجمع بـ count وhist داخل النواة، فالطباعة لكل حدث تصنع الكلفة التي هربت منها.

الاعتماد على kprobe حيث يوجد tracepoint

أسماء الدوال الداخلية تتغير بين الإصدارات، والسكربت ينكسر بعد ترقية النواة.

نسيان المرشح

بلا شرط comm أو pid تجمع أحداث النظام كله فتضيع الإشارة.

تجربة eBPF داخل آلة لا تكشف النقاط

بعض النوى المخصصة للآلات الصغيرة بلا kprobes ولا tracefs، كآلة مختبرنا الأولى، فتحقق قبل أن تخطط.

أسئلة يطرحها الناس

هل يحتاج eBPF نواة حديثة؟

الأساس موجود منذ سنوات، لكن BTF والميزات التي استعملناها تحتاج نواة حديثة كنواة أوبونتو 24.04.

هل يستطيع برنامج eBPF تعطيل الخادم؟

المتحقق يمنع الحلقات اللانهائية والوصول غير الآمن، لكن برنامجاً يطبع كل حدث على مسار مزدحم قد يبطئ النظام.

الخلاصة

في نواة تكشف 712 نقطة لاستدعاءات النظام و57832 دالة، عدّ bpftrace الاستدعاءات لكل برنامج، ورأى 60 ملفاً يفتحها استيراد json منها 7 فاشلة، ورسم زمن القراءة الذي امتد إلى 128 مللي ثانية من القرص وبقي تحت 256 ميكروثانية من الذاكرة. وعلى 60046 استدعاء بقي زمن البرنامج 0.21 ثانية مع bpftrace مقابل أكثر من 21 ثانية مع strace.