همه مقالات تخصصی

logrotate درست برای Nginx و بازکردن لاگ

تنظیم درست logrotate برای Nginx: بازکردن مجدد لاگ با سیگنال، پرهیز از copytruncate، عیب‌یابی با logrotate -d و آزادکردن فضای دیسک از لاگ‌های حذف‌شده.

logrotate درست برای Nginx و بازکردن لاگ

لاگ‌های دسترسی Nginx از آن چیزهایی هستند که تا وقتی هشدار دیسک به صدا درنیامده کسی به آن‌ها فکر نمی‌کند. بعد هر بار همان معمای کوچک تکرار می‌شود: logrotate می‌گوید اجرا شده، فایل‌های قدیمی فشرده و شماره‌گذاری شده‌اند، اما df هنوز پر بودن پارتیشن را نشان می‌دهد. یا برعکس: چرخش اصلاً اتفاق نمی‌افتد و یک access.log ماه‌ها بزرگ‌تر می‌شود.

هر دو مشکل به دو نکته برمی‌گردد. logrotate باید به‌موقع و با دسترسی درست اجرا شود و پس از آن باید به Nginx گفته شود فایل‌های لاگش را دوباره باز کند. این راهنما تنظیمات، روش عیب‌یابی و بازیابی فضایی را که یک لاگ حذف‌شده هنوز نگه داشته پوشش می‌دهد.

۱. چرخش لاگ باید چطور کار کند؟

پردازش Nginx فایل‌های لاگ را با file handle باز نگه می‌دارد، نه با نام. وقتی logrotate نام access.log را به access.log.1 تغییر می‌دهد، Nginx همچنان در همان فایل تغییرنام‌یافته می‌نویسد، چون هیچ‌وقت نام را دوباره جست‌وجو نکرده. تا وقتی به Nginx گفته نشود لاگ‌ها را دوباره باز کند، چیزی یک access.log تازه نمی‌سازد. این کار با یک سیگنال انجام می‌شود:

sudo nginx -s reopen
# یا معادلش
sudo kill -USR1 $(cat /run/nginx.pid)

پس چرخش درست سه بخش دارد: تغییر نام فایل، ساخت فایل خالی جدید با مالک درست و ارسال سیگنال reopen. اگر سیگنال را جا بیندازید، همان علائمی را می‌بینید که بالا گفتم.

۲. یک پیکربندی logrotate قابل اتکا

در Debian و Ubuntu بسته فایل /etc/logrotate.d/nginx را نصب می‌کند. اول فایل خودتان را ببینید، چون توزیع‌ها فرق دارند و سروری که دست‌کاری شده ممکن است از حالت پیش‌فرض دور شده باشد. یک نسخه مطمئن این شکلی است:

/var/log/nginx/*.log {
    daily
    rotate 14
    missingok
    notifempty
    compress
    delaycompress
    dateext
    sharedscripts
    create 0640 www-data adm
    postrotate
        [ -s /run/nginx.pid ] && kill -USR1 $(cat /run/nginx.pid)
    endscript
}

چند خط از این‌ها توضیح کوتاهی لازم دارند:

  • delaycompress فایل دیروز را یک دور دیگر فشرده‌نشده نگه می‌دارد. Nginx ممکن است درست بعد از سیگنال هم چند خط در فایل قدیمی بنویسد و فشرده‌کردن فوری ممکن است آن‌ها را از بین ببرد.
  • sharedscripts بلوک postrotate را یک‌بار برای کل glob اجرا می‌کند، نه یک‌بار برای هر فایل. بدون آن سروری با ده لاگ virtual host ده بار به Nginx سیگنال می‌دهد.
  • create 0640 www-data adm باید با کاربری که توزیع شما انتظار دارد جور باشد. در خانواده RHEL معمولاً مالک nginx است. با ls -l /var/log/nginx بررسی کنید.
  • notifempty و missingok جلوی خطا برای سایت‌های کم‌بازدید و فایل‌های غایب را می‌گیرند.

اگر vhostهای شما جای دیگری لاگ می‌نویسند، مثلاً /var/www/*/logs/*.log، آن مسیر را به خط اول اضافه کنید. چند glob می‌توانند یک بلوک مشترک داشته باشند.

۳. چرا copytruncate نه؟

گاهی copytruncate به‌عنوان میانبر پیشنهاد می‌شود چون سیگنال نمی‌خواهد. این گزینه لاگ را کپی می‌کند و بعد فایل اصلی را سر جایش خالی می‌کند. کار می‌کند، ولی بین کپی و خالی‌کردن فاصله‌ای هست که خط‌هایی در آن گم می‌شوند و روی سایت پرترافیک خود کپی هم موجی از I/O دیسک می‌سازد. Nginx سیگنال reopen را تمیز مدیریت می‌کند و دلیل خوبی برای پذیرفتن هیچ‌کدام از این دو عیب نیست. از سیگنال استفاده کنید.

۴. بررسی کنید چرخش واقعاً اجرا می‌شود

فرض نکنید؛ از سیستم بپرسید:

systemctl list-timers logrotate.timer
sudo systemctl status logrotate.service
sudo journalctl -u logrotate.service --since "2 days ago"
sudo grep nginx /var/lib/logrotate/status

دستور آخر تاریخ آخرین چرخش هر لاگ Nginx را نشان می‌دهد. در خانواده RHEL فایل وضعیت /var/lib/logrotate/logrotate.status است. اگر تاریخ چند هفته قدیمی است، یا تایمر اجرا نمی‌شود یا کار پیش از رسیدن به فایل شما شکست می‌خورد.

۵. اول Dry-run، بعد اجرای اجباری

logrotate حالت اشکال‌زدایی دارد که فقط نشان می‌دهد چه می‌کرد و چیزی را تغییر نمی‌دهد:

sudo logrotate -d /etc/logrotate.d/nginx

خروجی را برای خط‌هایی بخوانید که می‌گویند لاگ «نیاز به چرخش ندارد» یا رد شده است. وقتی درست به نظر رسید، یک‌بار اجرای واقعی اجباری بزنید و نتیجه را بررسی کنید:

sudo logrotate -vf /etc/logrotate.d/nginx
ls -lh /var/log/nginx/
sudo ls -l /proc/$(cat /run/nginx.pid)/fd | grep log

باید یک access.log جدید با حجم کم و یک فایل قدیمی با پسوند تاریخ ببینید. خروجی /proc آزمون اصلی است: handleهای باز باید به فایل‌های جدید اشاره کنند، نه به چیزی که (deleted) خورده یا نسخه چرخیده.

۶. خطاهای رایج و معنی‌شان

  • skipping because parent directory has insecure permissions: logrotate در پوشه‌ای که یک گروه غیر root می‌تواند در آن بنویسد چرخش نمی‌کند. دسترسی‌ها را درست کنید یا داخل بلوک su root adm بگذارید تا چرخش با همان کاربر و گروه انجام شود.
  • دیسک پر است ولی فایل‌ها کوچک‌اند: یک فایل حذف‌شده هنوز باز است. بخش بعد را ببینید.
  • بعد از چرخش لاگ‌ها خالی می‌مانند: فایل جدید با مالکی ساخته شده که Nginx نمی‌تواند در آن بنویسد، یا سیگنال reopen اجرا نشده. خط create و مسیر فایل PID را بررسی کنید.
  • چرخش اصلاً انجام نمی‌شود: systemctl list-timers، فایل وضعیت و اینکه فایل پیکربندی دیگری همان مسیر را مدیریت نکند را بررسی کنید. دو بلوک برای یک لاگ ممکن است تداخل کنند.

۷. بازیابی فضایی که لاگ حذف‌شده نگه داشته

اگر کسی برای آزادکردن فضا rm access.log زده باشد، تا وقتی Nginx فایل را باز نگه دارد فضا آزاد نمی‌شود. du آن را نشان نمی‌دهد ولی df نشان می‌دهد. پیدایش کنید و رهایش کنید:

sudo lsof +L1 | grep nginx
sudo nginx -s reopen

دستور اول فایل‌های باز با link count صفر را فهرست می‌کند. بعد از nginx -s reopen ، Nginx handle قدیمی را می‌بندد، هسته بلوک‌ها را آزاد می‌کند و df به‌روز می‌شود. اگر همین الان فضا لازم دارید، sudo truncate -s 0 /var/log/nginx/access.log هم گزینه است، البته لاگ را دور می‌ریزد.

۸. از اول لاگ کمتری بنویسید

چرخش رشد را مدیریت می‌کند، اما ننوشتن چیزی که نمی‌خوانید ارزان‌تر است. لاگ دسترسی را برای health checkهای پرتکرار خاموش کنید و روی سرور شلوغ نوشتن را بافر کنید:

location = /healthz {
    access_log off;
    return 200;
}

access_log /var/log/nginx/access.log combined buffer=32k flush=5s;

بافر تعداد فراخوانی‌های نوشتن را کم می‌کند، هرچند اگر سرور کرش کند ممکن است چند ثانیه آخر ثبت نشود. فراموش نکنید لاگ دسترسی آدرس IP کاربر را دارد که در بسیاری از کشورها داده شخصی حساب می‌شود. مدت نگهداری را مطابق سیاست خودتان تعیین کنید، نه برای همیشه.

۹. دسترسی‌ها و دستور su در logrotate

اگر دایرکتوری لاگ برای گروه یا همه قابل نوشتن باشد، logrotate چرخش را رد می‌کند و می‌خواهد با دستور su مشخص کنید چه کاربری چرخش را انجام دهد. روی Ubuntu معمولاً لاگ‌های Nginx متعلق به www-data و گروه adm هستند، پس این بلوک امن‌ترین شکل است:

/var/log/nginx/*.log {
    su root adm
    create 0640 www-data adm
}

اول مالکیت را ببینید: ls -l /var/log/nginx/. مالک یا مجوز اشتباه بعد از چرخش به شکل خطای دسترسی در ابزارهای پایش یا برای کاربران غیر root که لاگ را می‌خوانند ظاهر می‌شود.

۱۰. چند سایت، یک postrotate در logrotate

وقتی چند virtual host لاگ جدا دارند، همه را در یک بلوک بنویسید و sharedscripts را فعال کنید تا دستور postrotate فقط یک بار اجرا شود، نه به ازای هر فایل:

/var/log/nginx/*.log /var/log/nginx/sites/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    sharedscripts
    postrotate
        [ -f /run/nginx.pid ] && kill -USR1 $(cat /run/nginx.pid)
    endscript
}

بدون sharedscripts سیگنال به ازای هر لاگ ارسال می‌شود که بی‌ضرر اما اضافی است. در توزیع‌های جدید logrotate معمولاً با یک تایمر systemd اجرا می‌شود؛ با systemctl list-timers logrotate.timer زمان اجرای بعدی را ببینید و برای آزمایش بدون اجرا از logrotate -d استفاده کنید.

۱۱. تست نهایی بعد از چرخش اجباری

بعد از هر تغییر در پیکربندی، یک چرخش اجباری انجام دهید و این پنج نکته را با چشم ببینید:

sudo logrotate -f /etc/logrotate.d/nginx
ls -li /var/log/nginx/access.log*
curl -s -o /dev/null https://example.com/
tail -n 1 /var/log/nginx/access.log
sudo lsof +L1 | grep nginx

در خروجی ls -li شماره inode فایل فعلی باید با فایل چرخیده‌شده فرق کند. بعد از درخواست آزمایشی، خط تازه باید در access.log جدید ظاهر شود، نه در فایل قدیمی. خروجی lsof +L1 نباید فایل حذف‌شده‌ای را که Nginx هنوز باز نگه داشته نشان دهد. اگر هر کدام از این‌ها خلاف انتظار بود، دستور postrotate اجرا نشده یا به PID اشتباه سیگنال فرستاده است. بعد از تأیید، تغییر و زمان آن را در یادداشت‌های سرور ثبت کنید.

۱۲. چک‌لیست سریع

  1. /etc/logrotate.d/nginx را بخوانید و مسیرها و مالک create را تأیید کنید.
  2. مطمئن شوید postrotate لاگ‌ها را با USR1 یا nginx -s reopen دوباره باز می‌کند.
  3. برای Nginx از copytruncate استفاده نکنید.
  4. اول logrotate -d و بعد یک‌بار -vf بزنید و handleهای باز را بررسی کنید.
  5. تایمر و فایل وضعیت را ببینید تا بدانید زمان‌بندی اجرا می‌شود.
  6. هر وقت دیسک پرتر از فایل‌ها به نظر رسید، lsof +L1 بزنید.

لاگ‌های منابع دیگر برنامه جدا می‌خواهند. سرویس‌های systemd در journal می‌نویسند که در ماندگاری و نگهداری امن لاگ‌های journald آمده، کانتینرها محدودیت خودشان را دارند و در چرخش لاگ Docker توضیح داده شده، و اگر دیسک به هر دلیلی پر شد، رفع خطای Disk Full در لینوکس را ببینید.

اگر لاگ‌ها مقصر نبودند، رفع خطای Disk Full در لینوکس سراغ بقیه مظنون‌های معمول می‌رود.

راهنماهای بیشتر عیب‌یابی سرور در آرشیو مقالات جمع شده‌اند.

منابع رسمی

logrotate(8) · Controlling nginx · Nginx ngx_http_log_module