robots.txt كيف تستفيد منه وتجعل العناكب تعشش في موقعك

ENG MUHAMED

[ADMIN]
طاقم الإدارة
25 فبراير 2008
10,080
42
48
support-ar.net

السلام عليكم

أخواني شد انتباهي تقنية robots.txt المستخدمة في كثير من المواقع الأجنبية
فأحببت ان ألخص لكم ما فهمته ة ما استطعت تحصيلة من مواقع الانترنت الاجنبية ولبحث يوم كامل و اعطيكم الخلاصة على طبق من ذهب...

بسم الله الرحمن الرحيم

أولا الروبوتس هو عبارة عن ملف نصي يوضع في المجلد الرئيسي للموقع www و يوضع فيه أوامر لا يستطيع قرائتها غير عناكب الإنترنت
كانت التقنية قد ظهرت في عام 1994 ميلادي و قد انتشرت مع الزمن حتى اصبحت ذات انتشار واسع...

لن أطيل عليكم

اوامر ملف الريبورتس... مع امثلة...

أذا كنت ترغب بان تزور عناكب البحث موقعك ولكن لاتريدها ان تزور صفحات معينة من موقعك مثل admin او اي صفحات أخرى لا ترغب بأن تظهر للزوار كل ما عليك فعلة هو انشاء ملف و تسميتة بـ robots.txt و ثم قم بفتحة ووضع البرمجية التالية:

User-agent: * = السماح لجميع انواع العناكب بدخول الموقع

PHP:
Disallow: /admin/password/  =   عادا هذا الملف
 
Disallow: /tmp/                      =   وهذا
 
Disallow: /mypage.html           = وهذا ايضاً


User-agent: * = تكتب اسم عنكبوت معين أو نجمة تعني السماح لجميع عناكب البحث

Disallow: = تعني منع ثم المجلد او الأمتداد أو اسم الملف الممنوع ارشفتة في محركات البحث


طيب لو اردنا ان نسمح لعناكب معينة ان تزور ملف معين دون غيرها
مثل العنكبوتxxxx تابع لشركة بحث ضخمة و تريدة هو فقط ان يطلع على جميع محتوى الموقع و المجلدات .

PHP:
User-agent: *
 
Disallow: /admin/passwords/ 
 
User-agent: xxxx   =  اسم العنكبوت المستثنى من المنع
 
Disallow:      =  فارغ يعني عدم منع



طيب تبغى تطرد جميع العناكب وش تسوي...

حط الكود هذا
PHP:
User-agent: *
 
Disallow: /

والسماحة للعناكب بجميع أنواعها يكون كالتالي

PHP:
User-agent: *
 
Disallow:

أتمنى انكم إستفدتم ولاتنسونا من دعائكم
😚