×

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

بسم الله الرحمن الرحيم مقدمة: سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا

صورة 'More' الرمزية
قديمة 13 - 09 - 2008, 08:45
المشاركة 1
بسم الله الرحمن الرحيم


مقدمة:
سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس بتركيز .

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده

بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:

سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية http://www.example.com/welcome.html قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف http://www.example.com/robots.txt, وسنفترض مثلا انه وجد به الكود التالى
رمز Code:
User-agent: *
Disallow: /
هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث
رمز Code:
User-agent: *
وهذا الكود يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد

لاحظ النقاط التالية:

  1. بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
  2. ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها
سننتقل الان الى الجزء الاهم فى هذا الشرح فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل http://www.example.com/robots.txt
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"

مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt
وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT

ماذا سأضع بداخل ملف الـ robots.txt ؟

ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها
رمز Code:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
بواسطتة هذا الكود قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها

لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده

رمز Code:
User-agent: *
Disallow: /
بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع




رمز Code:
User-agent: *
Disallow:
هذا الكود يسمح لجميع العناكب بالدخول وارشفة جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا

رمز Code:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
بواسطة هذا الكود منعنا جميع العناكب من زيارة اقسام معينه من الموقع


رمز Code:
User-agent: BadBot
Disallow: /
يستخدم هذا الكود لمنع عناكب احد محركات البحث



رمز Code:
User-agent: Google
Disallow:

User-agent: *
Disallow: /
هذا الكود يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون



رمز Code:
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
وبالطبع هذا الكود لأستثناء الملفات كما هو ظاهر

_________________
الدرس القادم سيشرح بعض الاوامر الاخرى المميزه مع اجابة للأسئله الشائعة التى تدور بذهن اى صاحب موقع عن بطلنا ملف الـ robots.txt

انتهى الموضوع بحمد الله وارجو ان اكون وفقت فى الاعداد

هذا الشرح فقط سأقوم بوضعه بثلاث مواقع "تراينت و سوالف سوفت و ارابيا فور سيرف"
عند النقل يرجى ذكر المصدر الاصلى
http://forum.arabia4serv.com/t16810.html
أبو سيف و وليد الحبابي معجبون بهذا .
استضافة + دعم فنى مجانى لعملاء الاستضافة (احترافى)
تنبيه للمعلنين بخصوص احصائيات المواقع" التفرقه بين الزوار والزيارات والصفحات"
صحح معلوماتك عن المحتوى المكرر Duplicate content
كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
"لا تأخذ المعلومة من مدعى الفهم فهو اخطر من الجاهل"حكمة اليوم
arabia4serv at gmail.com
0020106970916
التعديل الأخير كان بواسطة More; 13 - 09 - 2008 الساعة 08:49
المشاهدات 7246 | التعليقات 15
قديمة 13 - 09 - 2008, 08:49
المشاركة 2
اه ياقلبي
لم يقم بتفعيل عضويته
تاريخ الإنضمام: 15 - 07 - 2005
رقم العضوية : 6099
الدولة : الاحساء
العمر: 34
المشاركات: 4,920
افتراضي
الف شكر اخوي ..

بصراحه موضوع مفيد كثيررررر

ويستاهل يتثبت

احلى تقييم لعيونك اخوي
قديمة 13 - 09 - 2008, 09:14
المشاركة 3
صورة 'felmk' الرمزية
felmk
:: عضو نشيط ::
تاريخ الإنضمام: 07 - 06 - 2008
رقم العضوية : 59545
الدولة : الوطن العربي
المشاركات: 2,149
افتراضي
طيب ازا بدي اعمل الملف لموقعي اي الكلمات الي احطها في الملف؟
!!
قديمة 13 - 09 - 2008, 11:54
المشاركة 4
صورة 'kotada10' الرمزية
kotada10
:: عضو نشيط ::
تاريخ الإنضمام: 01 - 04 - 2008
رقم العضوية : 55586
الدولة : فلسطين (ام الفحم)
المشاركات: 767
افتراضي
اخي بدك كل صحيح انا جربت وعملة ملف وكان عندي اكثر من 20 من العناكب جوجل وياهو بس بعد ما حطيت الملف اختفوا وما عاد يدخل ولا اي شيء من العناكب
منتدى النور






الاميل للتواصل




قديمة 13 - 09 - 2008, 18:13
المشاركة 5
صورة 'More' الرمزية
More
:: عضو نشيط ::
تاريخ الإنضمام: 09 - 11 - 2006
رقم العضوية : 27919
الدولة : :: مصر ::
العمر: 36
المشاركات: 2,178
افتراضي
طيب ازا بدي اعمل الملف لموقعي اي الكلمات الي احطها في الملف؟
على حسب احتياجاتك
اقرأ الموضوع جيدا وستعرف ماذا تكتب

اخي بدك كل صحيح انا جربت وعملة ملف وكان عندي اكثر من 20 من العناكب جوجل وياهو بس بعد ما حطيت الملف اختفوا وما عاد يدخل ولا اي شيء من العناكب
ماذا وضعت بداخل الملف؟
سعد المصرى معجب بهذا.
استضافة + دعم فنى مجانى لعملاء الاستضافة (احترافى)
تنبيه للمعلنين بخصوص احصائيات المواقع" التفرقه بين الزوار والزيارات والصفحات"
صحح معلوماتك عن المحتوى المكرر Duplicate content
كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
"لا تأخذ المعلومة من مدعى الفهم فهو اخطر من الجاهل"حكمة اليوم
arabia4serv at gmail.com
0020106970916
قديمة 19 - 09 - 2008, 22:03
المشاركة 6
صورة 'سعد المصرى' الرمزية
سعد المصرى
||| عضو التميز |||
تاريخ الإنضمام: 28 - 01 - 2008
رقم العضوية : 51337
الدولة : مصرى اسكندرانى
العمر: 40
المشاركات: 23,571
10
افتراضي
ما شاء الله عليك حبيبى

شرح والا اروع

فى انتظار جديدك يا غالى

احلى تقييم يا حبى
قديمة 19 - 09 - 2008, 23:13
المشاركة 7
:: عبدالله ::
.:: عضو متألق ::.
تاريخ الإنضمام: 07 - 12 - 2006
رقم العضوية : 29277
الدولة : لــيــبــيــا
المشاركات: 5,756
افتراضي
الافضل ان يتم عملها من قووقل ويب ماستر بالاضافة الي ان هناك امر اخر يسمح للعناكب بالدخول لمجلد دون غيره وهو allow

وشكراً لك

قديمة 20 - 09 - 2008, 05:11
المشاركة 8
صورة 'ourserv.com' الرمزية
ourserv.com
:: عضـــو::
تاريخ الإنضمام: 03 - 08 - 2005
رقم العضوية : 6746
الدولة : مصر
المشاركات: 94
افتراضي
موضوع فعلا شيق

شكرا لك اخى الكريم
  • أسم الشركـــه : أور سيرف ourserv™ لخدمات أستظافة المواقع
  • صاحب الشركه : أحمد نادر شفيق
  • أداء الشركـــه : تصميم - برمجة - ادارة محتويات - دعاية - دعم منتديات - أستظافة المواقع
  • بريد الشركـــه : [email protected] - [email protected]
  • هاتف الشركه : من داخل مصر (0124952007) من خارج مصر (0020124952007)
  • الدعم الفنــــي : http://www.ourserv.com/support/
قديمة 21 - 09 - 2008, 18:52
المشاركة 9
صورة 'ديجي عمان' الرمزية
ديجي عمان
:: عضو نشيط ::
تاريخ الإنضمام: 12 - 05 - 2008
رقم العضوية : 59132
الدولة : سلطنة عمان
العمر: 31
المشاركات: 2,770
1
افتراضي
استاذي ممكن تشوف الملف تبع موقعي؟ هل هو جيد ام لا وشوممكن نعدل علية

http://www.dj-oman.com/robots.txt
قديمة 22 - 09 - 2008, 19:49
المشاركة 10
صورة 'الفرجاني' الرمزية
الفرجاني
:: عضو نشيط ::
تاريخ الإنضمام: 08 - 11 - 2007
رقم العضوية : 43726
الدولة : secret
المشاركات: 4,883
افتراضي
عبد الله لما بتعملها من جوجل بتعملها لجوجل وليس لجميع المواقع يعني بتبقي الافضل لجوجل
::اسف::
في سفر من اجل الدراسة
قديمة 22 - 09 - 2008, 20:22
المشاركة 11
محمدالمهندس
:: عضو نشيط ::
تاريخ الإنضمام: 13 - 10 - 2007
رقم العضوية : 41269
المشاركات: 691
افتراضي
الله يعطيك العافيه
منتديات التميز
مركز التحميل
دليل المواقع

قديمة 22 - 09 - 2008, 20:31
المشاركة 12
:: عبدالله ::
.:: عضو متألق ::.
تاريخ الإنضمام: 07 - 12 - 2006
رقم العضوية : 29277
الدولة : لــيــبــيــا
المشاركات: 5,756
افتراضي
عبد الله لما بتعملها من جوجل بتعملها لجوجل وليس لجميع المواقع يعني بتبقي الافضل لجوجل
فاهم عليك اخي وانا مركز عالقووقل اكثر شي لاني هو الوحيد الي مستفيد منه اما الباقي لا فائدة

قديمة 05 - 01 - 2009, 00:34
المشاركة 13
صورة 'ورود اليمن' الرمزية
ورود اليمن
:: عضو نشيط ::
تاريخ الإنضمام: 14 - 06 - 2007
رقم العضوية : 37686
المشاركات: 2,951
افتراضي
مشكور اخي على الشرح الجميل والوافي

يعطيك العافية

http://www.eyoonk.com/vb/


تحياتي
قديمة 25 - 07 - 2009, 12:59
المشاركة 14
mikel_atef
:: عضو نشيط ::
تاريخ الإنضمام: 21 - 10 - 2008
رقم العضوية : 62076
الدولة : مصر
المشاركات: 359
افتراضي
شكرا اخي علي الموضوع المتميز

ولكن لدي مشكلة غريبة نوعا معا

بعد التحويل موقعي بكون 301

من ال cpanel

فوجئت من لوحة تكم المشرفين من جوجل ويب ماستر

ان لا يسطيع ان يقرا الفيل لانة بالفعل بعد لاتحويل لا يستطيع وجربت المحاولة بوضعة داخل الفلدر المحول الية ولاكن

جوجل ويب ماستر يظهر لية ما يقراة

ال ميتا تاج بعد التحويل ولا يستطيع يقرا الفيل نفسة؟؟

هل من حل؟؟
قديمة 24 - 10 - 2009, 18:54
المشاركة 15
صورة 'رمـادي' الرمزية
رمـادي
:: عضو نشيط ::
تاريخ الإنضمام: 15 - 10 - 2009
رقم العضوية : 70781
الدولة : المدينه المنوره
العمر: 30
المشاركات: 881
افتراضي
يعطيك العافيه اخوي
بس ابي رايك في الكود تبعي

http://www.rm-4.com/robots.txt
 
اضافة رد
 

اضف موقعك الى اشهر محركات البحث والادلة العالمية كيف تزود ارباحك فى ادسنس بدون غش

أدوات الموضوع ابحث في الموضوع
ابحث في الموضوع:

البحث المتقدم
طرق العرض


الساعة معتمدة بتوقيت جرينتش +3 . الساعة الآن : 14:33.
المعهد غير مسؤول عن أي اتفاق تجاري أو تعاوني بين الأعضاء
فعلى كل شخص تحمل مسئولية نفسه إتجاه مايقوم به من بيع وشراء وإتفاق وأعطاء معلومات موقعه
التعليقات المنشورة لا تعبر عن رأي معهد ترايدنت ولا نتحمل أي مسؤولية قانونية حيال ذلك (ويتحمل كاتبها مسؤولية النشر)

جميع الحقوق محفوظة Traidnt 2019
  • 00966138651070
  • 00966138648289
  • 2051033691
Powered by vBulletin® Version 3.8.11 .Copyright ©2000 - 2020, Jelsoft Enterprises Ltd
SEO by vBSEO ©2011, Crawlability, Inc.