آرشیو صفحات وب: تبدیل HTML به فرمت‌های آماده برای حفظ

چرا نگهداری محتوای وب؟

صفحات وب معادل مدرن روزنامه‌ها، گزارش‌های پژوهشی و اطلاعیه‌های قانونی هستند. آن‌ها یک لحظه خاص در زمان را ثبت می‌کنند — مقاله‌ای، راه‌اندازی محصولی، به‌روزرسانی سیاستی — اما کد پایه، اسکریپت‌های شخص ثالث و حتی سرور میزبانی می‌توانند یک شب ناپدید شوند. برای کتابداران، پژوهشگران، مسئولان پیروی و هرکسی که نیاز به ضبط قابل اعتماد دارد، تبدیل یک صفحه به قالبی آماده برای نگهداری امری ضروری است. تبدیل باید صحت بصری را حفظ کند، لینک‌ها را فعال نگه دارد و متادیتاهای لازم (نویسنده، تاریخ انتشار، URL منبع) را تعبیه کند تا آرشیو به‌طور خود توصیفی باقی بماند.

انتخاب قالب مقصد مناسب

سه قالب در گردش کارهای بایگانی غالب هستند:

1. PDF/A – نسخه استاندارد ISO از PDF که برای نگهداری بلندمدت طراحی شده است. وابستگی‌های خارجی را ممنوع می‌کند، قلم‌ها را تعبیه می‌کند و متادیتا را شامل می‌شود. PDF/A‑2 و PDF/A‑3 از فایل‌های تعبیه‌شده و شفافیت پشتیبانی می‌کنند که هنگام باندل‌کردن داده‌های تکمیلی مفید است.
2. WARC (Web ARChive) – قالب‌ بسته‌ای که در اصل برای Internet Archive ابداع شده است. پاسخ‌های خام HTTP را همراه با هدرها، کوکی‌ها و منابع باینری ذخیره می‌کند و امکان بازسازی وفادارانه صفحه اصلی را می‌دهد. WARC زمانی ایده‌آل است که نیاز به حفظ دقیق تبادل شبکه داشته باشید، نه فقط رندر بصری.
3. MHTML (MIME HTML) – نمایه تک‑فایلی که HTML، تصاویر، CSS و سایر منابع را در یک سند multipart MIME فشرده می‌کند. نسبت به WARC سبک‌تر است و صفحه را در اکثر مرورگرها قابل رندر می‌کند، اگرچه ضمانت‌های اعتبارسنجی سخت PDF/A را ندارد.

انتخاب به هدف نهایی بستگی دارد: پیروی قانونی اغلب به سمت PDF/A متمایل است، بایگانی علمی برای قابلیت بازتولید WARC را ترجیح می‌دهد و مرجع سریع یا مستندات داخلی ممکن است به MHTML اکتفا کند.

آماده‌سازی صفحه منبع

قبل از هر گونه تبدیل، منبعی تمیز خطاهای بعدی را کاهش می‌دهد.

گرفتن یک تصویر ثابت پایدار

صفحات پویا محتوا را از طریق AJAX، lazy‑load تصاویر یا چرخش تبلیغات بارگذاری می‌کنند. از مرورگر سرسر (مثلاً Puppeteer، Playwright) استفاده کنید تا زمانی که شبکه بیکاری داشته باشد صبر کنید، سپس یک snapshot کامل DOM بگیرید. غیرفعال کردن ردیاب‌های شخص ثالث می‌تواند از شکست‌های اسکریپتی بعدی جلوگیری کند.

نرمال‌سازی URLها و حل مسیرهای نسبی

زمانی که منابع با URLهای نسبی ارجاع داده می‌شوند، موتور تبدیل باید آن‌ها را نسبت به URL پایه صفحه حل کند. یک اسکریپت پیش‌پرواز ساده که تمام ویژگی‌های src و href را به URLهای مطلق بازنویسی می‌کند، لینک‌های خراب در آرشیو نهایی را حذف می‌کند.

حذف عناصر غیرضروری

نوارهای جانبی، پنجره‌های pop‑up و بنرهای رضایت‌نامه آرشیو را شلوغ می‌کنند و حجم اضافی به‌بار می‌افزایند. یک گام سبک دستکاری DOM — حذف عناصری با کلاس‌های شناخته‌شده مانند .cookie-consent یا #ad-container — خروجی پاک‌تری بدون قربانی کردن محتوای اصلی تولید می‌کند.

گردش کار تبدیل

در ادامه یک خط لوله عملی آورده شده که می‌تواند روی یک workstation استاندارد یا یک تابع ابری اجرا شود. گام‌ها به‌صورت عمدی ترتیب داده شده‌اند تا فرایند تعیین‌پذیر و قابل حسابرسی باشد.

1. رندر صفحه روی یک بوم مجازی

با استفاده از یک نمونه سرسر Chromium، URL آماده را باز کنید، تا networkidle0 صبر کنید، سپس صفحه رندرشده را به عنوان PDF خروجی بگیرید. اکثر مرورگرها امکان تعریف سازگاری PDF/A را از طریق پرچم‌های خط فرمان یا کتابخانهٔ افزونه‌ای فراهم می‌کنند. اگر موتور مستقیماً از PDF/A پشتیبانی نمی‌کند، ابتدا یک PDF با وضوح بالا تولید کنید.

2. پس‌پردازش به PDF/A

اگر PDF اولیه PDF/A نیست، آن را از طریق ابزاری که استاندارد را اعمال می‌کند، عبور دهید — مثلاً Ghostscript با پرچم -dPDFA یا سرویس تخصصی مانند convertise.app. این ابزار قلم‌های گمشده را تعبیه می‌کند، رنگ‌ها را به یک پروفایل دستگاه‑استقلالی (معمولا sRGB) تبدیل می‌کند و ویژگی‌های ممنوعه مانند JavaScript را حذف می‌نماید.

3. تولید فایل WARC (اختیاری)

در حالی که PDF رندر بصری را ضبط می‌کند، WARC تبادل خام HTTP را ثبت می‌کند. ابزارهایی مانند wget --warc-file=archive یا کتابخانهٔ Python warcio می‌توانند صفحه و تمام منابع آن را دریافت کنند و در یک فایل .warc واحد ذخیره نمایند. اطمینان حاصل کنید درخواست شامل هدر Accept‑Encoding: identity باشد تا از payloadهای فشرده‌ای که بعداً غیرواضح می‌شوند، جلوگیری شود.

4. ساخت سند MHTML (اختیاری)

اگر بسته‌ای سبک‌تر و دوستانه برای مرورگر نیاز دارید، از گزینهٔ Chrome «Save As» → MHTML استفاده کنید یا page.saveAsMHTML() را از طریق DevTools Protocol فراخوانی کنید. این گام می‌تواند همراه با تولید PDF/A باشد: پس از ذخیرهٔ MHTML، آن را از طریق همان پلتفرم تبدیل اجرا کنید تا اطمینان حاصل شود تمام دارایی‌های تعبیه‌شده زنده مانده‌اند.

5. افزودن متادیتا

هر سه قالب از متادیتای تعبیه‌شده پشتیبانی می‌کنند. فیلدهای زیر را پر کنید:

• Title – محتوی تگ <title> یا توصیف‌کنندهٔ دستی ارائه‌شده.
• Author – در صورت وجود، تگ <meta name="author">.
• Creation Date – تاریخ ضبط به فرمت ISO‑8601.
• Source URL – آدرس صفحه اصلی.
• Checksum – هش SHA‑256 از HTML اصلی برای تأیید یکپارچگی بعدی.

برای PDF/A این مقادیر در بستهٔ XMP قرار می‌گیرند؛ برای WARC در رکورد WARC‑Info؛ برای MHTML در هدرهای MIME ذخیره می‌شوند.

بررسی اعتبار آرشیو

یک تبدیل به‌سوی اطمینان همان اندازه‌ای است که اعتبارسنجی آن باشد.

بررسی‌های وفاداری بصری

PDF/A را در یک Viewer آگاه به اعتبارسنجی (Adobe Acrobat Pro، VeraPDF) باز کنید و صفحات منتخب را با سایت زنده مقایسه کنید. به قلم‌های مفقود، تصاویر بریده یا جداول جابجا‌شده دقت کنید. برای WARC، آرشیو را با ابزار wayback یا pywb پخش کنید و عناصر تعاملی را به‌صورت نمونه‌ای بررسی کنید.

سازگاری فنی

• PDF/A – فایل را از طریق اعتبارسنجی ISO‑19005 (VeraPDF) اجرا کنید تا انطباق کامل تأیید شود.
• WARC – با warcat یکپارچگی رکوردها را بررسی کنید و مطمئن شوید هر هدر HTTP موجود است.
• MHTML – فایل را در مرورگرهای مختلف (Chrome, Edge, Firefox) باز کنید تا اطمینان حاصل شود همهٔ منابع به‌درستی رندر می‌شوند.

چکسام‌ها و حسابرسی‌ها

چکسام SHA‑256 هر فایل تولیدشده را همراه با یک لاگ حسابرسی کوتاه (زمان، نسخهٔ ابزارها، خط فرمان استفاده‌شده) ذخیره کنید. این لاگ بخشی از سوابق منشأ می‌شود که مقررات اغلب برای شواهد دیجیتالی آن را می‌طلبند.

مشکلات رایج و راه‌حل‌های آن‌ها

نکات خودکارسازی برای بایگانی در مقیاس بزرگ

زمانی که نیاز به حفظ صدها یا هزاران صفحه دارید، گام‌های دستی غیرقابل تحمل می‌شوند. یک خط لولهٔ قابل بازتولید می‌تواند به‌صورت مجموعه‌ای از دستورات کانتینرایز شده بیان شود:

# 1. دریافت HTML و منابع
wget --warc-file=page-${ID} --adjust-extension --page-requisites --convert-links --no-parent "$URL"

# 2. رندر PDF/A با Chrome سرسر
chrome --headless --disable-gpu \
       --print-to-pdf=page-${ID}.pdf \
       --print-to-pdf-no-header \
       "$URL"

# 3. اعمال الزامی PDF/A با Ghostscript
gs -dPDFA -dBATCH -dNOPAUSE -sProcessColorModel=DeviceRGB \
   -sDEVICE=pdfwrite -sOutputFile=page-${ID}-pdfa.pdf page-${ID}.pdf

# 4. محاسبه چکسام و ایجاد لاگ حسابرسی
sha256sum page-${ID}-pdfa.pdf > audit-${ID}.log

اجرای این اسکریپت درون یک Docker container تضمین می‌کند نسخهٔ ثابت Chrome، wget و Ghostscript در تمام ماشین‌ها وجود داشته باشد که برای حسابرسی بسیار مهم است.

چه زمانی کدام قالب را ترجیح دهید

• اسناد قانونی یا مقرراتی – معمولاً PDF/A الزامی است؛ چون خودمحافظ است و تغییر آن باعث شکستن استاندارد می‌شود.
• ارجاع علمی به محتویات وب – WARC وفاداری بیشینه را فراهم می‌کند و هدرهای HTTP که ممکن است شامل داده‌های منشأ (مانند ETag، Last‑Modified) باشند را حفظ می‌کند.
• پایگاه‌های دانش داخلی – MHTML برای اسنادی که کارکنان می‌خواهند مستقیماً بدون ابزارهای تخصصی باز کنند، سریع و مناسب است.

ادغام تبدیل در گردش کارهای موجود

بسیاری از سازمان‌ها پیش از این از سیستم‌های مدیریت محتوا (CMS) یا پلتفرم‌های حفظ دیجیتال استفاده می‌کنند. خط لوله تبدیل می‌تواند با یک webhook در زمان افزودن URL جدید به لیست نظارت‌پذیر فعال شود. وب‌هوک به یک نقطهٔ API فراخوانی می‌کند که یک تابع serverless (AWS Lambda، Azure Functions) را اجرا می‌کند؛ این تابع گام‌های شرح داده‌شده را اجرا کرده و فایل‌های نهایی را در یک ذخیره‌ساز اشیائی غیرقابل تغییر (مثلاً Amazon S3 با Object Lock) می‌گذارد. قفل‌گذاری مانع حذف ناخواسته می‌شود و سیاست‌های نگهداری را برآورده می‌کند.

جمع‌بندی

آرشیو یک صفحه وب بیش از یک اسکرین‌شات است؛ نیاز به رویکردی منظم دارد که طرح بصری، منابع زیرین و متادیتای زمینه‌ای را همزمان ضبط کند. با انتخاب قالب هدف مناسب — PDF/A برای اطمینان قانونی، WARC برای دقت پژوهشی، یا MHTML برای مرجع سریع — و پیروی از یک گردش کار قابل بازتولید و معتبر، اطمینان می‌یابید که محتوای موقتی امروز برای سال‌های آینده در دسترس و قابل اعتماد می‌ماند. ابزارهایی مانند convertise.app می‌توانند بخش سنگین سازگاری خاص قالب‌ها را انجام دهند و شما را آزاد می‌سازند تا روی گرداندن، منشأ و مراقبت بلندمدت متمرکز شوید.