همه مقالات تخصصی

تشخیص پرشدن صف اتصال TCP در لینوکس؛ ListenOverflows و Backlog

تفاوت صف SYN و Accept، خواندن ss و ListenOverflows و تنظیم Backlog فقط پس از تشخیص کندی پذیرش اتصال.

تشخیص پرشدن صف اتصال TCP در لینوکس؛ ListenOverflows و Backlog

Timeout اتصال همیشه مشکل شبکه نیست. وقتی برنامه اتصال‌های کامل‌شده را به‌اندازه کافی سریع Accept نمی‌کند، صف Listen پر می‌شود و کاربر تأخیر یا شکست اتصال می‌بیند. افزایش Backlog ممکن است Burst کوتاه را جذب کند، اما ظرفیت پردازش برنامه را زیاد نمی‌کند. این راهنما با شواهد Kernel و وضعیت Listener، صف اتصال را از کندی Query و پاسخ برنامه جدا می‌کند.

۱. صف SYN و Accept را جدا کنید

صف SYN درخواست‌هایی را نگه می‌دارد که Handshake آن‌ها کامل نشده؛ صف Accept اتصال‌های آماده تحویل به برنامه را نگه می‌دارد. net.core.somaxconn سقف Backlog خواسته‌شده در listen است، نه اندازه مستقل همه صف‌ها. tcp_max_syn_backlog به درخواست‌های SYN مربوط است. معنی و پیش‌فرض‌ها به نسخه Kernel بستگی دارد؛ عددهای قدیمی آموزش‌ها را بدون بررسی کپی نکنید.

uname -r
sysctl net.core.somaxconn net.ipv4.tcp_max_syn_backlog
ss -lnt '( sport = :443 )'
ss -nt state syn-recv '( sport = :443 )'

۲. اندازه Listener و Namespace را درست بخوانید

در Socket TCP در حالت LISTEN، Recv-Q تعداد اتصال‌های آماده منتظر و Send-Q مقدار Backlog نمایش‌داده‌شده را نشان می‌دهد؛ معنی ستون‌ها در اتصال ESTABLISHED متفاوت است. یک Snapshot آرام، Burst چندثانیه قبل را نشان نمی‌دهد. اگر سرویس داخل Container یا Network Namespace است، داده همان Namespace را بخوانید. Listenerهای reuseport و چند Socket را جداگانه بررسی کنید.

۳. افزایش شمارنده‌ها را با زمان حادثه تطبیق دهید

ListenOverflows و ListenDrops را در دو زمان مشخص بخوانید و اختلاف را با Burst و خطای کلاینت مقایسه کنید. این شمارنده‌ها معمولاً کل Namespace را پوشش می‌دهند و مختص یک پورت نیستند؛ مقدار غیرصفر قدیمی به‌تنهایی سرویس فعلی را مقصر نمی‌کند. با ss، لاگ برنامه و مانیتورینگ نرخ اتصال شواهد را کامل کنید. افزایش Drop می‌تواند به دلایل دیگر نیز رخ دهد.

date -Is
nstat -az TcpExtListenOverflows TcpExtListenDrops
# Repeat during the affected period; compare absolute counters.

۴. اول علت کندی Accept را پیدا کنید

CPU اشباع‌شده، Event Loop مسدود، کمبود Worker، سقف File Descriptor و فشار حافظه می‌توانند پذیرش اتصال را کند کنند. صف بزرگ‌تر برای فشار مداوم فقط زمان انتظار را افزایش می‌دهد. ابتدا Capacity و رفتار برنامه را بررسی کنید. tcp_abort_on_overflow را برای پنهان‌کردن مشکل فعال نکنید؛ ممکن است اتصال‌های کلاینت را Reset کند و تجربه کاربران را بدتر کند.

۵. تغییر محدود، بازگشت و معیار موفقیت

فقط اگر Burst کوتاه و ظرفیت کافی برنامه تأیید شده، Backlog برنامه و سقف Kernel را هماهنگ کنید. مقدار فعلی را ثبت کنید؛ 4096 در این مثال الزام عمومی نیست و ممکن است همین حالا پیش‌فرض باشد. تغییر sysctl لزوماً Listener موجود را بازسازی نمی‌کند؛ رفتار Reload/Restart سرویس را بررسی کنید. قبل از Persist در sysctl.d، با بار کنترل‌شده تست کنید. موفقیت یعنی رشد شمارنده و Timeout کم شود، بدون افزایش نامقبول زمان انتظار؛ در شکست، مقدار و تنظیم قبلی را برگردانید.

# Example only, after recording and reviewing the current value:
sudo sysctl -w net.core.somaxconn=4096
ss -lnt '( sport = :443 )'
nstat -az TcpExtListenOverflows TcpExtListenDrops

منابع رسمی

Linux IP sysctl