فهم استدعاءات النظام في لينكس بـ strace وltrace: ثلاث مشكلات حقيقية وكلفة التتبع
فهم استدعاءات النظام System Calls هو أقصر طريق لمعرفة ما يفعله برنامج لا تملك مصدره أو لا تفهم رسالة خطئه. فكل ما يفعله البرنامج مع العالم الخارجي، من فتح ملف أو اتصال بالشبكة أو انتظار قفل، يمر عبر النواة باستدعاء نظام، والأداة strace تعرض هذه الاستدعاءات واحداً واحداً، وأختها ltrace تعرض استدعاءات المكتبات داخل البرنامج. وفي هذا المقال نستعملهما على أوبونتو 24.04 مع strace 6.8 وltrace 0.7.3 لحل ثلاث مشكلات حقيقية: برنامج يقول إن الإعدادات مفقودة دون أن يذكر أين بحث، وبرنامج يتوقف ثانيتين دون سبب ظاهر، وعملية تعمل في الخلفية نريد رؤيتها دون إيقافها. ثم نقيس كم تبطئ strace البرنامج.
نمر بالفكرة وأول ملخص، ثم البحث عن الملفات المفقودة، ثم الاستدعاء البطيء، ثم الالتصاق بعملية تعمل، ثم ltrace واستدعاءات المكتبات، وأخيراً كلفة التتبع.
الفكرة وأول ملخص بـ strace -c
strace -f -c -w -o py.txt python3 -c "import json"
% time seconds usecs/call calls errors syscall
58.02 0.004643 30 154 33 stat
5.71 0.000457 6 73 22 openat
5.52 0.000442 16 26 getdents64
4.98 0.000399 5 67 read
100.00 0.008002 11 714 90 total

البرنامج لا يقرأ القرص بنفسه، بل يطلب من النواة. والخيار -c يلخص كل الطلبات في جدول بعد انتهاء البرنامج، و-f يتبع العمليات الفرعية، و-w يحسب الزمن بالساعة الفعلية. وسطر بايثون واحد يستورد وحدة json أنتج 714 استدعاء، منها 90 فشلت. وأكثرها stat وopenat، لأن المفسر يبحث عن الوحدات والمكتبات في عدة مسارات، وكل مسار غير موجود فشل متوقع. فالأخطاء في هذا الجدول ليست مشكلة بالضرورة، والسؤال دائماً: أي فشل منها هو الذي يهمني؟ والعلاقة بين البرنامج والنواة مشروحة في مقدمة لينكس وبنية النواة.
المشكلة الأولى: الإعدادات مفقودة، لكن أين؟
python3 app.py
error: configuration missing # rc=1, no path in the message
strace -f -e trace=openat -o trace.txt python3 app.py
grep app.conf trace.txt
openat(AT_FDCWD, "./app.conf", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/root/.config/app/app.conf", O_RDONLY|O_CLOEXEC) = -1 ENOENT
openat(AT_FDCWD, "/etc/app/app.conf", O_RDONLY|O_CLOEXEC) = -1 ENOENT
openat(AT_FDCWD, "/usr/local/etc/app.conf", O_RDONLY|O_CLOEXEC) = -1 ENOENT

رسالة الخطأ لا تقول شيئاً عن المسارات، وstrace يقولها كلها. بالخيار -e trace=openat نحصر الإخراج في فتح الملفات، ثم نبحث عن اسم الملف، فنرى أن البرنامج جرب أربعة مسارات بالترتيب وفشلت كلها بالرمز ENOENT، أي غير موجود. وضعنا الملف في /etc/app فخرج البرنامج بالرمز صفر. والطريقة نفسها تكشف خطأ الصلاحيات حين يكون الرمز EACCES بدل ENOENT، فتعرف أن الملف موجود لكن المستخدم لا يقرؤه. وللبحث عن الملفات من الطرف الآخر، أي أين توجد على القرص، راجع البحث المتقدم بـ find وgrep.
المشكلة الثانية: توقف دون سبب ظاهر
flock /tmp/lock sleep 2 & # another process holds the lock
strace -T -e trace=flock python3 lockwait.py
flock(3, LOCK_EX) = 0 <1.780938>
got the lock

الخيار -T يضيف في آخر كل سطر الزمن الذي قضاه الاستدعاء داخل النواة. والبرنامج هنا انتظر في flock قرابة 1.78 ثانية، لأن عملية أخرى تمسك القفل نفسه. والمعالج لم يكن مشغولاً، والقرص لم يكن بطيئاً، فلا top ولا iostat كانا سيكشفان السبب. وهذا النمط يتكرر: برنامج بطيء دون استهلاك معالج غالباً ينتظر شيئاً، وstrace -T يخبرك ماذا ينتظر: قفلاً، أو اتصالاً عبر connect، أو قراءة من شبكة عبر read أو poll، أو كتابة إلى القرص عبر fsync. واجمعه مع -tt لترى وقت كل سطر بالميكروثانية.
المشكلة الثالثة: الالتصاق بعملية تعمل
( while true; do date > /dev/null; sleep 1; done ) &
timeout 3 strace -f -p $! -e trace=execve,clone,wait4 -o attach.txt
# strace: Process 11216 attached ... 7 processes attached in 3 s
grep -c execve attach.txt # 6
# execve("/usr/bin/date", ["date"], ...) = 0
# execve("/usr/bin/sleep", ["sleep", "1"], ...) = 0
الخيار -p يلتصق بعملية موجودة برقمها دون إعادة تشغيلها، و-f يلحق بأبنائها الجدد. وفي ثلاث ثوانٍ رأينا الحلقة تنشئ عمليات جديدة وتشغل date ثم sleep، ست مرات تنفيذ. وهذا مفيد مع خدمة تعمل على خادم ولا تكتب سجلاً كافياً. وحين تنتهي بـ Ctrl+C أو بانتهاء timeout تنفصل strace وتكمل العملية عملها كأن شيئاً لم يحدث. ويحتاج الالتصاق صلاحية: المستخدم العادي يلتصق بعملياته فقط، وقد تمنعه إعدادات Yama حتى من ذلك، وroot يلتصق بأي عملية.
ltrace: ما يحدث داخل البرنامج
ltrace -c ./lt # small C program: getenv, then 1000 x malloc/snprintf/strlen/free
% time seconds usecs/call calls function
25.39 0.047872 47 1000 snprintf
25.13 0.047395 47 1000 strlen
25.06 0.047256 47 1000 malloc
24.35 0.045924 45 1000 free
100.00 0.188581 4002 total
ltrace -e getenv+strlen ./lt
lt->getenv("HOME") = "/root"
lt->strlen("/root/0") = 7
strace -c ./lt # 34 system calls in total

البرنامج نفسه أجرى 4002 استدعاء مكتبة لكنه لم يطلب من النواة إلا 34 استدعاء نظام، لأن malloc وstrlen وsnprintf تعمل داخل العملية دون النواة غالباً. فإن أردت أن تعرف أي متغير بيئة يقرؤه برنامج، أو أي نص يقارنه، فهذا مكان ltrace. لكنها أداة قديمة وحدودها واضحة: تعمل على البرامج المربوطة ديناميكياً فقط، ولا ترى البرامج المترجمة ترجمة ثابتة كبرامج Go، وقد تتعثر مع برامج مبنية بخيارات ربط حديثة. لذلك strace هي الأداة الأولى، وltrace حين تحتاج داخل البرنامج تحديداً.
كلفة التتبع
dd if=/dev/zero of=/dev/null bs=1 count=200000 # 400000 tiny syscalls
run 1 2 3
no tracing 0.04 s 0.04 s 0.04 s
strace 20.50 s 21.61 s 21.37 s (output to /dev/null)
strace -c 20.29 s 19.98 s 19.34 s (summary only)

هذا هو الثمن الذي يجب أن تعرفه قبل تشغيل strace على خادم إنتاج. أمر dd بحجم كتلة بايت واحد ينفذ نحو 400 ألف استدعاء قراءة وكتابة، وانتهى في 0.04 ثانية وحده، وفي أكثر من 20 ثانية تحت strace، أي أبطأ بنحو 500 مرة. والخيار -c لم يخفف الكلفة رغم أنه لا يطبع شيئاً، لأن الكلفة ليست في الطباعة بل في توقف البرنامج عند كل استدعاء ليقرأه strace عبر ptrace. والبرامج التي تكثر من الاستدعاءات الصغيرة هي الأكثر تأثراً، والبرامج التي تحسب طويلاً بين الاستدعاءات تكاد لا تتأثر. فاستعمل strace على برنامج واحد ولثوانٍ قليلة، وحصر الاستدعاءات بـ -e لا يلغي التوقف لكنه يقلل الإخراج.
أخطاء شائعة
قراءة كل الإخراج دون تصفية
آلاف الأسطر تخفي السطر المهم، فاستعمل -e trace ثم grep لاسم الملف أو رمز الخطأ.
اعتبار كل ENOENT خطأ
البحث في مسارات متعددة يفشل عمداً، والمهم آخر محاولة قبل رسالة الخطأ.
نسيان -f
البرامج التي تنشئ عمليات أو خيوطاً تخفي عملها الحقيقي في الأبناء.
ترك strace ملتصقة بخدمة إنتاج
البطء الذي يسببه التتبع قد يتحول إلى انقطاع، فالتقط ثوانٍ قليلة فقط.
أسئلة يطرحها الناس
هل أستطيع استعمال strace على برنامج داخل حاوية؟
نعم من المضيف برقم العملية كما يراه المضيف، أو داخل الحاوية إن سُمح فيها بـ ptrace.
ما البديل حين لا تحتمل الخدمة البطء؟
أدوات eBPF مثل bpftrace تجمع العدّادات داخل النواة دون إيقاف العملية عند كل استدعاء.
الخلاصة
كشف strace المسارات الأربعة التي بحث فيها برنامج عن إعداداته وفشلت كلها بـ ENOENT، وكشف -T انتظار 1.78 ثانية في flock لم يظهر في استهلاك المعالج، والتصق -p بحلقة تعمل فرأى 6 عمليات تنفيذ في ثلاث ثوانٍ. وأظهرت ltrace 4002 استدعاء مكتبة مقابل 34 استدعاء نظام للبرنامج نفسه. والثمن: dd بنحو 400 ألف استدعاء أخذ 0.04 ثانية وحده وأكثر من 20 ثانية تحت strace.


