جارٍ التحميل…Loading…Cargando…Carregando…Chargement…
دليل كتابة ملف robots.txt المعياري وتوليد خريطة الموقع sitemap.xml لأرشفة صفحات ومقالات موقعك في محرك بحث جوجل وتفادي حظر المحتوى بالخطأ.
3 خطوات7 دقائق قراءةبواسطة Admin
في عالم السيو التقني (Technical SEO)، يعتبر ملفا robots.txt وخريطة الموقع sitemap.xml جواز السفر الإلزامي الذي ترجع إليه عناكب محركات البحث (مثل Googlebot و Bingbot) فور وصولها لموقعك. يحدد ملف robots.txt القواعد والمسارات المسموح والممنوع زحفها لحماية ميزانية الزحف (Crawl Budget)، بينما توفر خريطة الموقع الفهرس الشامل لكافة صفحاتك ومقالاتك مع تواريخ آخر تعديل.
خطأ بسيط في كتابة سطر واحد داخل ملف robots.txt قد يؤدي إلى كارثة اختفاء موقعك بالكامل من نتائج بحث جوجل! في هذا الدليل العملي، نتعلم الصياغة البرمجية الصحيحة للملفين وكيفية التحقق من عملهما بنجاح وفق إرشادات جوجل الرسمية.
أنشئ ملفاً نصياً بسيطاً باسم robots.txt وضعه في المجلد الرئيسي لموقعك (Root Directory) بحيث يمكن الوصول إليه عبر https://yoursite.com/robots.txt. اكتب البنية القياسية الموصى بها التالية للسماح بكافة العناكب وفهرسة المحتوى العام، مع حظر المجلدات الإدارية الحساسة: User-agent: *Disallow: /admin/Disallow: /api/Allow: /Sitemap: https://yoursite.com/sitemap.xml
النتيجة المتوقعة: قواعد واضحة ترشد عناكب البحث لمحتوى المقالات وتمنع زحف لوحة التحكم والمجلدات الخاصة
خريطة الموقع هي ملف بلغة XML يدرج كافة روابط موقعك بصيغة معيارية تفهمها محركات البحث. إذا كنت تستخدم WordPress، فإن إضافات السيو مثل Yoast SEO أو Rank Math تقوم بتوليدها تلقائياً على الرابط sitemap_index.xml. وإذا كان موقعك مبرمجاً يدوياً (Next.js / Laravel)، يمكنك توليدها ديناميكياً لتشمل: وسم <loc> للرابط، ووسم <lastmod> لتاريخ التحديث، ووسم <changefreq> لمعدل النشر.
النتيجة المتوقعة: فهرس تقني شامل يحدث نفسه تلقائياً عند نشر أي مقال أو صفحة جديدة
افتح متصفحك واكتب رابط موقعك متبوعاً بـ /robots.txt و /sitemap.xml للتأكد من ظهور الملفين دون أي أخطاء. ثم توجه إلى لوحة Google Search Console، وانتقل لتبويب Sitemaps (ملفات السايت ماب) في القائمة الجانبية؛ اكتب sitemap.xml في حقل الإرسال واضغط Submit. ستظهر لك عبارة "تم بنجاح (Success)" باللون الأخضر مع إحصاء عدد الروابط المكتشفة وجدولتها للأرشفة الفورية.
النتيجة المتوقعة: أرشفة سريعة ومضمونة لكافة مقالات وصفحات موقعك في خوادم بحث جوجل
أخبرنا إذا تمكنت من إكمال الخطوات أو ما زلت بحاجة إلى مساعدة.
طريقة إضافة موقعك في Google Search Console وإثبات الملكيةدليل ربط موقعك الإلكتروني بأداة Google Search Console وإثبات الملكية عبر سجلات DNS أو وسم HTML لمتابعة أداء السيو ونقرات الكلمات المفتاحية وفحص الأرشفة.
طريقة تسريع موقع ووردبريس وحل بطء التحميلدليل تسريع مواقع ووردبريس WordPress وحل مشكلة بطء التحميل عبر ضبط إضافة LiteSpeed Cache وتصغير الأكواد وتحسين استجابة السيرفر TTFB للوصول لسرعة 95+.
طريقة رفع موقع على الإنترنت مجاناً بضغطة زردليل استضافة ونشر مواقع الويب وصفحات HTML ومشاريع React و Next.js مجاناً مدى الحياة عبر منصات Vercel و Netlify مع دومين مجاني وتحديث تلقائي عبر GitHub.