ওয়েব পেজ আর্কাইভ করা: HTML-কে সংরক্ষণ‑যোগ্য ফরম্যাটে রূপান্তর

কেন ওয়েব কন্টেন্ট সংরক্ষণ করা উচিত?

ওয়েব পেজগুলি আধুনিক যুগের সংবাদপত্র, গবেষণা প্রতিবেদন এবং আইনি বিজ্ঞপ্তির সমতুল্য। এগুলি একটি নির্দিষ্ট সময়ের স্ন্যাপশট ধরে রাখে—একটি নিবন্ধ, একটি পণ্যের লঞ্চ, একটি নীতির আপডেট—তবে পেছনের কোড, তৃতীয় পক্ষের স্ক্রিপ্ট এবং এমনকি হোস্টিং সার্ভার রাতারাতি অদৃশ্য হয়ে যেতে পারে। লাইব্রেরিয়ান, গবেষক, কমপ্লায়েন্স অফিসার এবং যেকেউ যিনি একটি নির্ভরযোগ্য রেকর্ড প্রয়োজন, তাদের জন্য একটি পেজকে সংরক্ষণ‑যোগ্য ফরম্যাটে রূপান্তর করা অপরিহার্য। রূপান্তরে ভিজ্যুয়াল ফিডেলিটি বজায় রাখতে হবে, হাইপারলিঙ্কগুলোর কার্যকারিতা রাখতে হবে, এবং প্রয়োজনীয় মেটাডেটা (লেখক, প্রকাশের তারিখ, সূত্রের URL) এম্বেড করতে হবে যাতে আর্কাইভ স্ব-বর্ণনামূলক থাকে।

সঠিক গন্তব্য ফরম্যাট নির্বাচন করা

আর্কাইভাল ওয়ার্কফ্লোতে তিনটি ফরম্যাট প্রাধান্য পায়:

1. PDF/A – দীর্ঘমেয়াদি সংরক্ষণের জন্য ISO‑স্ট্যান্ডার্ডিকৃত PDF সংস্করণ। এটি বাহ্যিক নির্ভরশীলতা নিষিদ্ধ করে, ফন্ট এম্বেড করে এবং মেটাডেটা অন্তর্ভুক্ত করে। PDF/A‑2 এবং PDF/A‑3 এম্বেডেড ফাইল এবং ট্রান্সপারেন্সি সমর্থন করে, যা অতিরিক্ত ডেটা বান্ডেল করতে সুবিধাজনক।
2. WARC (Web ARChive) – মূলত ইন্টারনেট আর্কাইভের জন্য তৈরি একটি কন্টেইনার ফরম্যাট। এটি কাঁচা HTTP রেস্পন্স, হেডার, কুকি এবং বাইনারি রিসোর্স সংরক্ষণ করে, ফলে মূল পেজের সঠিক পুনর্নির্মাণ সম্ভব হয়। সঠিক নেটওয়ার্ক এক্সচেঞ্জ সংরক্ষণ প্রয়োজন হলে WARC আদর্শ।
3. MHTML (MIME HTML) – একটি একক‑ফাইল প্রতিনিধিত্ব যা HTML, ইমেজ, CSS এবং অন্যান্য রিসোর্সকে মাল্টিপারট MIME ডকুমেন্টে প্যাক করে। এটি WARC-এর তুলনায় হালকা এবং অধিকাংশ ব্রাউজারে পেজ রেন্ডারেবল রাখে, যদিও PDF/A-এর কঠোর ভ্যালিডেশন গ্যারান্টি নেই।

ফরম্যাটের নির্বাচন শেষ লক্ষ্য অনুযায়ী নির্ভর করে: আইনি কমপ্লায়েন্স প্রায়শই PDF/A পছন্দ করে, একাডেমিক আর্কাইভিং পুনরুৎপাদনযোগ্যতার জন্য WARC গ্রহণ করে, আর দ্রুত রেফারেন্স বা অভ্যন্তরীণ ডকুমেন্টেশন MHTML-এ স্থিত হয়।

সোর্স পেজ প্রস্তুত করা

কোনো রূপান্তরের আগে, পরিষ্কার সোর্স ডাউনস্ট্রিম ত্রুটি কমাতে সহায়তা করে।

স্থিতিশীল স্ন্যাপশট ক্যাপচার করুন

ডাইনামিক পেজগুলি AJAX, লেজি‑লোড ইমেজ বা বিজ্ঞাপন রোটেটের মাধ্যমে কন্টেন্ট রিলোড করে। হেডলেস ব্রাউজার (যেমন Puppeteer, Playwright) ব্যবহার করে নেটওয়ার্ক আইডল হওয়া পর্যন্ত অপেক্ষা করুন, তারপর পুরো DOM স্ন্যাপশট নিন। তৃতীয়‑পক্ষের ট্র্যাকার নিষ্ক্রিয় করা পরবর্তী স্ক্রিপ্ট ব্যর্থতা প্রতিরোধে সহায়তা করে।

URL নরমালাইজ এবং রিলেটিভ পাথ রিসলভ করুন

রিসোর্স রিলেটিভ URL দিয়ে রেফারেন্স করা হলে, রূপান্তর ইঞ্জিনকে পেজের বেস URL এর বিপরীতে সেগুলি রিসলভ করতে হবে। সব src এবং href অ্যাট্রিবিউটকে অ্যাবসোলিউট URL‑এ রিরাইট করে একটি সহজ প্রি‑ফ্লাইট স্ক্রিপ্ট শেষ আর্কাইভে ভাঙা লিঙ্কগুলো এড়িয়ে যায়।

অপ্রয়োজনীয় এলিমেন্ট পরিষ্কার করুন

সাইডবার, পপ‑আপ এবং কনসেন্ট ব্যানার আর্কাইভকে অপ্রয়োজনীয়ভাবে ভারী করে এবং অপ্রয়োজনীয় বাইট যোগ করে। পরিচিত ক্লাস যেমন .cookie-consent বা #ad-container থাকা এলিমেন্টগুলো অপসারণের জন্য হালকা DOM ম্যানিপুলেশন ধাপ মূল কন্টেন্ট ছাড়াই পরিষ্কার আউটপুট প্রদান করে।

রূপান্তর ওয়ার্কফ্লো

নিচে একটি বাস্তবিক পাইপলাইন দেওয়া হল, যা স্ট্যান্ডার্ড ওয়ার্কস্টেশন বা ক্লাউড ফাংশনে চালানো যায়। ধাপগুলো ইচ্ছাকৃতভাবে ধারাবাহিকভাবে সাজানো হয়েছে যাতে প্রক্রিয়া নির্ধারিত ও অডিটযোগ্য থাকে।

১. পেজটি ভার্চুয়াল ক্যানভাসে রেন্ডার করুন

হেডলেস Chromium ইনস্ট্যান্স ব্যবহার করে প্রস্তুত URL খুলুন, networkidle0 পর্যন্ত অপেক্ষা করুন, তারপর রেন্ডারেড পেজটি PDF হিসেবে এক্সপোর্ট করুন। অধিকাংশ ব্রাউজার কম্যান্ড‑লাইন ফ্ল্যাগ বা এক্সটেনশন লাইব্রেরি দিয়ে PDF/A কমপ্লায়েন্স নির্দিষ্ট করতে দেয়। যদি ইঞ্জিন সরাসরি PDF/A সমর্থন না করে, প্রথমে উচ্চ‑রেজোলুশনের PDF তৈরি করুন।

২. PDF/A‑তে পোস্ট‑প্রসেস করুন

প্রারম্ভিক PDF যদি PDF/A না হয়, তবে স্ট্যান্ডার্ড শক্তভাবে প্রয়োগকারী টুলের মাধ্যমে রূপান্তর করুন—যেমন Ghostscript‑এর -dPDFA ফ্ল্যাগ অথবা convertise.app‑এর মতো বিশেষায়িত সার্ভিস। টুলটি অনুপস্থিত ফন্ট এম্বেড করবে, রঙকে ডিভাইস‑ইন্ডিপেন্ডেন্ট প্রোফাইল (সাধারণত sRGB) এ রূপান্তর করবে, এবং JavaScript‑এর মতো নিষিদ্ধ বৈশিষ্ট্যগুলো সরিয়ে দেবে।

৩. WARC ফাইল জেনারেট করুন (ঐচ্ছিক)

PDF ভিজ্যুয়াল রেন্ডারিং ক্যাপচার করলেও, WARC কাঁচা HTTP এক্সচেঞ্জ রেকর্ড করে। wget --warc-file=archive অথবা warcio পাইথন লাইব্রেরি ব্যবহার করে পেজ এবং সব রিসোর্স ফেচ করুন, একক .warc ফাইলে সংরক্ষণ করুন। রিকোয়েস্টে Accept‑Encoding: identity হেডার যোগ করুন যাতে সংকুচিত পে-লোড পরে অস্বচ্ছ না হয়।

৪. MHTML ডকুমেন্ট বানান (ঐচ্ছিক)

হালকা ও ব্রাউজার‑ফ্রেন্ডলি প্যাকেজ দরকার হলে Chrome‑এর Save As → MHTML অপশন ব্যবহার করুন অথবা DevTools Protocol‑এর মাধ্যমে page.saveAsMHTML() কল করুন। এই ধাপটি PDF/A জেনারেশনের সঙ্গে সংযুক্ত করা যায়: MHTML সংরক্ষণ করার পরে একই রূপান্তর প্ল্যাটফর্মে চালিয়ে নিশ্চিত করুন সব এম্বেডেড অ্যাসেট বেঁচে আছে।

৫. মেটাডেটা সংযুক্ত করুন

তিনটি ফরম্যাটই এম্বেডেড মেটাডেটা সমর্থন করে। নিম্নলিখিত ফিল্ডগুলো পূরণ করুন:

• শিরোনাম – <title> ট্যাগ অথবা ম্যানুয়ালি প্রদত্ত বর্ণনা।
• লেখক – যদি থাকে, <meta name="author"> ট্যাগ।
• সৃষ্টির তারিখ – ISO‑8601 ফরম্যাটে ক্যাপচার তারিখ।
• সূত্র URL – মূল পেজের ঠিকানা।
• চেকসাম – মূল HTML‑এর SHA‑256 হ্যাশ, যাতে পরে অখণ্ডতা যাচাই করা যায়।

PDF/A‑এর ক্ষেত্রে এই মানগুলো XMP প্যাকেটের মধ্যে যায়; WARC‑এ WARC‑Info রেকর্ডে; MHTML‑এ MIME হেডারে।

আর্কাইভ ভ্যালিডেট করা

রূপান্তর শুধুমাত্র তখনই সফল যখন যাচাই ঠিকভাবে করা হয়।

ভিজ্যুয়াল ফিডেলিটি চেক

PDF/A‑কে ভ্যালিডেশন‑সচেতন ভিউয়ার (Adobe Acrobat Pro, VeraPDF) দিয়ে খুলে নির্বাচিত পেজগুলো লাইভ সাইটের সঙ্গে তুলনা করুন। অনুপস্থিত গ্লিফ, কাটাছেঁড়া ইমেজ বা টেবিল শিফটের দিকে লক্ষ্য রাখুন। WARC‑এর ক্ষেত্রে wayback টুল বা pywb ব্যবহার করে আর্কাইভ রিপ্লে করুন এবং ইন্টারঅ্যাকটিভ উপাদানগুলো স্পট‑চেক করুন।

টেকনিক্যাল কনফরম্যান্স

• PDF/A – ISO‑19005 ভ্যালিডেটর (VeraPDF) চালিয়ে কঠোর কমপ্লায়েন্স নিশ্চিত করুন।
• WARC – warcat দিয়ে রেকর্ডের অখণ্ডতা পরীক্ষা করুন এবং নিশ্চিত করুন প্রত্যেক HTTP হেডার উপস্থিত।
• MHTML – Chrome, Edge, Firefox ইত্যাদি একাধিক ব্রাউজারে ফাইলটি খুলে সকল রিসোর্স সঠিকভাবে রেন্ডার হচ্ছে কিনা যাচাই করুন।

চেকসাম ও অডিট

প্রতিটি জেনারেটেড ফাইলের SHA‑256 চেকসাম একটি সংক্ষিপ্ত অডিট লগের সঙ্গে সংরক্ষণ করুন (টাইমস্ট্যাম্প, টুল ভার্সন, ব্যবহৃত কমান্ড লাইন)। এই লগটি প্রোভেন্যান্স রেকর্ডের অংশ হয়ে ওঠে, যা নিয়ন্ত্রকরা প্রায়শই ডিজিটাল প্রমাণের জন্য চায়।

সাধারণ পিটফল এবং কীভাবে এড়ানো যায়

বৃহৎ‑স্কেলের আর্কাইভিংয়ের জন্য অটোমেশন টিপস

শত‑হাজার পেজ সংরক্ষণ করতে হলে ম্যানুয়াল ধাপ অচল। পুনরুত্পাদনযোগ্য একটি পাইপলাইন কন্টেইনারাইজড কমান্ডের ধারায় প্রকাশ করা যায়:

# ১. HTML এবং রিসোর্স ক্যাপচার
wget --warc-file=page-${ID} --adjust-extension --page-requisites --convert-links --no-parent "$URL"

# ২. হেডলেস Chrome দিয়ে PDF/A রেন্ডার
chrome --headless --disable-gpu \
       --print-to-pdf=page-${ID}.pdf \
       --print-to-pdf-no-header \
       "$URL"

# ৩. Ghostscript দিয়ে PDF/A কমপ্লায়েন্স বাধ্যতামূলক করা
gs -dPDFA -dBATCH -dNOPAUSE -sProcessColorModel=DeviceRGB \
   -sDEVICE=pdfwrite -sOutputFile=page-${ID}-pdfa.pdf page-${ID}.pdf

# ৪. চেকসাম গণনা এবং অডিট লগ তৈরি
sha256sum page-${ID}-pdfa.pdf > audit-${ID}.log

ডকার কন্টেইনারের মধ্যে এই স্ক্রিপ্ট চালানো Chrome, wget এবং Ghostscript‑এর একই ভার্সন নিশ্চিত করে, যা অডিটযোগ্যতার জন্য জরুরি।

কখন কোন ফরম্যাটকে অগ্রাধিকার দিতে হবে

• আইনি বা নিয়ন্ত্রক ফাইলিং – PDF/A প্রায়শই বাধ্যতামূলক, কারণ এটি স্ব-ধারিত এবং মান অনুসরণ না করলে পরিবর্তন করা যায় না।
• শৈল্পিক রেফারেন্সে ওয়েব ম্যাটেরিয়াল – WARC সর্বোচ্চ সত্যিকারের পুনর্নির্মাণ প্রদান করে, যা HTTP হেডারে (যেমন ETag, Last‑Modified) থাকা প্রোভেন্যান্স ডেটা সংরক্ষণ করে।
• অভ্যন্তরীণ জ্ঞানভাণ্ডার – MHTML দ্রুত, ব্রাউজার‑সঙ্গত স্ন্যাপশট দেয়, যার জন্য বিশেষ ভিউয়ার দরকার হয় না।

বিদ্যমান ওয়ার্কফ্লোতে রূপান্তর সংযোজন

অনেক প্রতিষ্ঠান ইতিমধ্যে কন্টেন্ট ম্যানেজমেন্ট সিস্টেম (CMS) বা ডিজিটাল প্রিজারভেশন প্ল্যাটফর্ম ব্যবহার করে। একটি নতুন URL ওয়াচলিস্টে যোগ হলে ওয়েবহুক ট্রিগার করা যায়। ওয়েবহুক একটি API এন্ডপয়েন্টকে কল করে, যা একটি সার্ভারলেস ফাংশন (AWS Lambda, Azure Functions) চালু করে, পূর্বে উল্লেখিত ধাপগুলো সম্পন্ন করে এবং ফলাফল ইমমিউটেবল অবজেক্ট স্টোরে (যেমন Amazon S3 Object Lock সহ) ডিপোজিট করে। লকিং অনিচ্ছাকৃত ডিলিট প্রতিরোধ করে, যা প্রিজারভেশন নীতিমালার চাহিদা পূরণ করে।

শেষ কথা

ওয়েব পেজ আর্কাইভ করা শুধু স্ক্রিনশট নেওয়ার চেয়ে বেশি; এতে ভিজ্যুয়াল লেআউট, অন্তর্নিহিত রিসোর্স এবং প্রাসঙ্গিক মেটাডেটা ধরা দরকার। সঠিক টার্গেট ফরম্যাট—আইনি নিশ্চয়তার জন্য PDF/A, গবেষণার জন্য ফিডেলিটি‑গ্রেডের WARC, অথবা দ্রুত রেফারেন্সের জন্য MHTML—বাছাই করে এবং পুনরুত্পাদনযোগ্য, ভ্যালিডেটেড ওয়ার্কফ্লো অনুসরণ করে আপনি নিশ্চিত করতে পারেন যে আজকের ভাসমান ওয়েব কন্টেন্ট বছরের পর বছর সহজেই অ্যাক্সেসযোগ্য এবং বিশ্বাসযোগ্য থাকে। convertise.app-এর মতো টুল ফরম্যাট‑নির্দিষ্ট কমপ্লায়েন্সের ভারী কাজ হ্যান্ডল করতে পারে, যাতে আপনি কিউরেশন, প্রোভেন্যান্স এবং দীর্ঘমেয়াদি স্টুয়ার্ডশিপে মনোযোগ দিতে পারেন।