أهلا و سهلا!
موضوعنا اليوم عن ملف Robots.txt وهو ملف يستخدمه أصحاب المواقع لتوجيه الروبوتات وهي غالبا روبوتات محركات البحث, لإعطائها التوجيه اللازم حيال الأرشفة.
عادة ما نبدأ هذا الملف بسطر التعريف:
User-agent:
وهو توجيه بالإسم للروبوت الذي نختاره لنعطيه التوجيه, فمثلا إذا رغبنا بتوجيه روبوت قوقل سيصبح الإسم كالتالي:
User-agent: Googlebot
بعد كتابة الإسم نقوم بكتابة مانريد منعه من الأرشفة, مثلا صفحة الخصوصية لا أريد من روبوت قوقل أن يعطيها أهمية فنكتب الأمر التالي:
User-agent: Googlebot Disallow: /Privacy-Policy/
ويمكننا إضافة عدد لامحدود من الصفحات التي لانرغب بأرشفتها لكي يقوم الروبوت بالتركيز على الصفحات المهمة فقط, كما يمكننا توجيه الروبوت إلى خريطة الموقع, ويمكن جعل رسالتك عامة لجميع الروبوتات وذلك بعدم كتابة إسم أي روبوت كما أفعل شخصيا وهذا محتوى صفحتي مرفق أدناه:
User-agent: *
Disallow: /blog/wp-admin/
Disallow: /blog/wp-login.php
Disallow: /blog/wp-register.php
Disallow: /blog/privacy-policy/
Sitemap: https://m7mmad.com/blog/sitemap_index.xml
كل التـــوفيق…