شرح ملف Robots.txt في بلوجر: كيفية ضبطه وتحسين ظهور مدونتك في جوجل
يُعد ملف Robots.txt من الملفات المهمة التي تساعد أصحاب المواقع والمدونات على التحكم في طريقة تعامل عناكب محركات البحث مع محتوى مواقعهم. ومن خلال ضبط هذا الملف بشكل صحيح، يمكنك تحديد الأجزاء التي يُسمح لروبوتات البحث بالزحف إليها، والأجزاء التي تفضل منعها من الزحف إليها.
إذا كنت تمتلك مدونة على منصة بلوجر (Blogger)، فلا تحتاج إلى تثبيت إضافات خارجية لتعديل هذا الملف، حيث توفر المنصة إعدادًا مخصصًا يمكنك من خلاله إضافة الأوامر التي تناسب احتياجات مدونتك.
في هذا الدليل، سنتعرف على ماهية ملف Robots.txt، وكيفية تعديله في بلوجر، وأهم الأوامر المستخدمة فيه، مع أمثلة عملية تساعدك على ضبطه بطريقة صحيحة.
ما هو ملف Robots.txt؟
ملف Robots.txt هو ملف نصي تستخدمه المواقع لتوجيه عناكب محركات البحث، مثل Googlebot وBingbot، وإخبارها بالأجزاء التي يُسمح لها بالزحف إليها والأجزاء التي لا يُسمح لها بالزحف إليها.
على سبيل المثال، قد ترغب في السماح لمحركات البحث بالوصول إلى المقالات والصفحات المهمة في مدونتك، مع توجيهها إلى عدم الزحف إلى بعض صفحات البحث الداخلي التي قد تنتج عنها روابط متكررة.
يمكنك التحقق من ملف Robots.txt الخاص بمدونتك عن طريق كتابة عنوان موقعك متبوعًا باسم الملف، مثل:
https://belelmnahia.com/robots.txt
استبدل العنوان السابق بعنوان مدونتك إذا كنت تستخدم نطاقًا مختلفًا.
إذا ظهر لك محتوى نصي يحتوي على مجموعة من الأوامر، فهذا يعني أن الملف متاح ويمكنك الاطلاع على التعليمات الموجودة بداخله.
ملحوظة مهمة: ملف Robots.txt لا يمنع فهرسة الصفحات بشكل مضمون، وإنما يتحكم أساسًا في الزحف إليها. فإذا كنت تريد منع صفحة من الظهور في نتائج البحث، فقد تحتاج إلى استخدام توجيه noindex بالطريقة المناسبة، مع السماح لمحرك البحث بالوصول إلى الصفحة حتى يتمكن من قراءة هذا التوجيه.
كيفية تعديل ملف Robots.txt في بلوجر
توفر منصة بلوجر إمكانية تخصيص ملف Robots.txt مباشرة من لوحة التحكم، دون الحاجة إلى استخدام إضافات خارجية.
اتبع الخطوات التالية:
سجّل الدخول إلى حسابك على منصة بلوجر.
اختر المدونة التي تريد تعديل إعداداتها.
انتقل إلى قسم الإعدادات (Settings) من القائمة الجانبية.
مرّر إلى أسفل الصفحة حتى تصل إلى قسم برامج الزحف والفهرسة (Crawling and indexing).
فعّل خيار تفعيل ملف robots.txt المخصص (Enable custom robots.txt).
اضغط على خيار ملف robots.txt المخصص (Custom robots.txt) لفتح مربع النص.
أضف الأوامر التي تريد استخدامها أو عدّل الأوامر الموجودة بالفعل.
اضغط على حفظ (Save) لتطبيق التغييرات.
بعد الحفظ، يمكنك فتح رابط ملف Robots.txt الخاص بمدونتك مرة أخرى للتأكد من ظهور المحتوى الذي أضفته.
تحذير: لا تستبدل محتوى الملف الافتراضي بأوامر جديدة دون فهم تأثيرها، فقد يؤدي استخدام قواعد غير مناسبة إلى منع محركات البحث من الوصول إلى صفحات مهمة في مدونتك.
ما أهم أوامر ملف Robots.txt؟
يعتمد ملف Robots.txt على مجموعة من التعليمات البسيطة. ومن أهمها ما يلي:
1. الأمر User-agent
يُستخدم هذا الأمر لتحديد روبوت محرك البحث الذي ستُطبق عليه التعليمات التالية.
على سبيل المثال:
User-agent: Googlebot
يعني أن القواعد التالية موجهة إلى روبوت جوجل المخصص للزحف إلى صفحات الويب.
أما عند كتابة:
User-agent: *
فإنك تحدد أن القواعد التالية موجهة إلى جميع برامج الزحف التي تلتزم بهذه القواعد.
2. الأمر Disallow
يُستخدم الأمر Disallow لمنع روبوتات البحث من الزحف إلى مسار معين داخل الموقع.
مثال:
Disallow: /search
يشير هذا الأمر إلى عدم السماح للروبوت بالزحف إلى المسارات التي تطابق القاعدة، مثل صفحات البحث الداخلي التي تبدأ بالمسار /search.
ومن المهم معرفة أن هذا الأمر لا يعني بالضرورة إزالة الصفحات من نتائج البحث، بل إنه يقيّد الزحف إليها.
3. الأمر Allow
يُستخدم الأمر Allow للسماح بالزحف إلى مسار معين، ويمكن الاستفادة منه عند وجود قاعدة منع أوسع مع الحاجة إلى السماح بالوصول إلى مسار أكثر تحديدًا.
مثال:
Allow: /p/about.html
لكن يجب الانتباه إلى أن هذا الأمر لا يُعد ضمانًا لفهرسة الصفحة، بل يسمح للروبوت بالزحف إليها وفقًا للقواعد المطبقة.
4. الأمر Sitemap
يُستخدم هذا الأمر لتحديد رابط خريطة الموقع، التي تساعد محركات البحث على اكتشاف عناوين الصفحات الموجودة في الموقع.
مثال:
Sitemap: https://belelmnahia.com/sitemap.xml
استبدل الرابط بعنوان خريطة الموقع الصحيح لمدونتك، وتأكد من أن الملف متاح بالفعل.
من الأفضل كتابة سطر Sitemap خارج مجموعات قواعد User-agent، ويمكن وضعه في نهاية ملف Robots.txt لتسهيل قراءته.
أمثلة عملية على استخدام Robots.txt في بلوجر
بعد التعرف على الأوامر الأساسية، إليك بعض الأمثلة التي توضح كيفية استخدامها.
المثال الأول: منع الزحف إلى مسار البحث الداخلي
إذا كنت تريد منع روبوتات البحث من الزحف إلى مسارات البحث الداخلي في مدونة بلوجر، يمكنك استخدام القاعدة التالية:
User-agent: *
Disallow: /searchتساعد هذه القاعدة على تقييد الزحف إلى المسارات التي تبدأ بـ /search، ومنها بعض صفحات البحث والتصنيفات في بلوجر.
ومع ذلك، لا تطبقها قبل التأكد من أن هذه المسارات ليست ضرورية لاكتشاف المحتوى المهم في مدونتك.
المثال الثاني: منع الزحف إلى صفحة محددة
لنفترض أنك تريد منع الزحف إلى صفحة «من نحن» التي تحمل العنوان التالي:
https://belelmnahia.com/p/about.html
يمكنك استخدام الأمر:
User-agent: *
Disallow: /p/about.htmlبهذه الطريقة، تمنع برامج الزحف التي تلتزم بالقواعد من الوصول إلى هذا المسار.
لكن إذا كان هدفك هو منع الصفحة نفسها من الظهور في نتائج جوجل، فإن استخدام Disallow وحده ليس الحل المضمون؛ لأن جوجل قد يعرض عنوان الصفحة دون محتوى إذا اكتشف الرابط من مصادر أخرى.
المثال الثالث: إضافة خريطة الموقع
يمكنك الإشارة إلى خريطة الموقع باستخدام السطر التالي:
Sitemap: https://belelmnahia.com/sitemap.xmlتأكد من صحة الرابط قبل إضافته، لأن رابط خريطة الموقع قد يختلف حسب إعدادات المنصة ونوع الموقع.
المثال الرابع: السماح بالزحف إلى المدونة
إذا كنت تريد السماح لجميع برامج الزحف بالوصول إلى المسارات التي لا تمنعها قواعد أخرى، فيمكنك استخدام:
User-agent: *
Disallow:تعني القيمة الفارغة بعد Disallow عدم وجود مسار محظور بهذه القاعدة.
لا تضف أوامر منع أخرى إلا إذا كنت تعرف سبب استخدامها وتأثيرها على مدونتك.
تحذير مهم: لا تستخدم Disallow: / دون معرفة تأثيره
من أكثر الأخطاء خطورة في ملف Robots.txt كتابة الأمر التالي:
User-agent: *
Disallow: /هذا الأمر يمنع روبوتات البحث التي تلتزم بالقواعد من الزحف إلى جميع مسارات الموقع.
وبالتالي، قد يؤثر سلبًا في قدرة جوجل على الوصول إلى مقالاتك وصفحاتك المهمة.
إذا كان هدفك تحسين ظهور مدونتك في نتائج البحث، فلا تستخدم هذا الأمر على مدونة عامة تريد أن يجدها الزوار عبر جوجل.
كيفية اختبار ملف Robots.txt قبل استخدامه
قبل تطبيق أي تعديلات على الملف، من المهم مراجعة الأوامر والتأكد من أنها لا تمنع الوصول إلى صفحات أساسية في المدونة.
يمكنك اتباع الخطوات التالية:
افتح ملف Robots.txt بعد حفظ التعديلات.
راجع جميع قواعد User-agent وDisallow وAllow.
تأكد من عدم وجود قاعدة تمنع الموقع بالكامل دون قصد.
تحقق من صحة رابط خريطة الموقع.
استخدم أدوات فحص عناوين URL المتاحة في Google Search Console لمراجعة إمكانية وصول جوجل إلى صفحاتك.
تنبيه: أداة Robots.txt Tester القديمة كانت متاحة ضمن أدوات جوجل القديمة، لكنها لم تعد أداة عامة متاحة لجميع المستخدمين داخل Google Search Console. لذلك، لا تعتمد على وجودها في القائمة الحالية. يمكنك مراجعة ملف Robots.txt يدويًا واستخدام فحص عنوان URL للتحقق من حالة الصفحة وإمكانية الزحف إليها.
هل يؤثر ملف Robots.txt في أرشفة مقالات بلوجر؟
نعم، يمكن أن يؤثر ملف Robots.txt في اكتشاف المحتوى والزحف إليه، لكنه ليس العامل الوحيد الذي يحدد ظهور المقالات في نتائج البحث.
تعتمد فهرسة المقالات على عوامل أخرى، منها:
إمكانية وصول جوجل إلى الصفحة.
جودة المحتوى ومدى فائدته للزوار.
الروابط الداخلية التي تساعد على اكتشاف المقالات.
عدم وجود توجيهات تمنع الفهرسة، مثل
noindex.توفر الصفحة وعدم وجود أخطاء تقنية تمنع الوصول إليها.
إمكانية اكتشاف الرابط من خلال خريطة الموقع أو الروابط الأخرى.
لذلك، فإن ضبط ملف Robots.txt خطوة مهمة ضمن تحسين محركات البحث (SEO)، لكنه لا يضمن وحده فهرسة المقالات أو تصدر نتائج البحث.
الخلاصة
ملف Robots.txt أداة مهمة للتحكم في زحف محركات البحث إلى مدونة بلوجر، ويمكن تعديله بسهولة من خلال إعدادات المنصة.
تعرّفنا في هذا المقال على كيفية الوصول إلى الملف، وأهم الأوامر المستخدمة فيه، وطريقة منع الزحف إلى مسارات محددة، وإضافة خريطة الموقع، بالإضافة إلى الأخطاء التي ينبغي تجنبها.
إذا كنت تدير مدونة وتريد تحسين ظهورها في جوجل، فاحرص على استخدام قواعد واضحة ومناسبة، ولا تمنع الزحف إلى الصفحات المهمة دون سبب. وتذكّر دائمًا أن منع الزحف لا يعني بالضرورة منع الفهرسة، وأن نجاح تحسين محركات البحث يحتاج إلى محتوى جيد وإعدادات تقنية سليمة معًا.
