ركن تقنيات المواقع SEO و XML و RSS و محركات البحث : [يمنع] منعاً بات كتابة مواضيع الطلبات او المشاكل او الاستفسارات.

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

صورة 'More' الرمزية
More
:: عضو نشيط ::
تاريخ الإنضمام: 09 - 11 - 2006
رقم العضوية : 27919
الدولة : :: مصر ::
العمر: 34
المشاركات: 2,184
قديمة 13 - 09 - 2008, 08:45
المشاركة 1
نشاط More
  • قوة السمعة : 3078
  • الإعجاب: 125
    افتراضي كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث


    بسم الله الرحمن الرحيم


    مقدمة:
    سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس بتركيز .

    معنى كلمة robots :
    المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
    حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

    ما هى العناكب وما هى وظيفتها:
    عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

    حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده

    بأختصار:
    اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:

    سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية http://www.example.com/welcome.html قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف http://www.example.com/robots.txt, وسنفترض مثلا انه وجد به الكود التالى
    رمز Code:
    User-agent: *
    Disallow: /
    هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث
    رمز Code:
    User-agent: *
    وهذا الكود يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد

    لاحظ النقاط التالية:

    1. بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
    2. ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها
    سننتقل الان الى الجزء الاهم فى هذا الشرح فرجاء التركيز
    كيف يمكنك عمل ملف الـ robots.txt ؟
    وهذا السؤال ينقسم الى عدة نقاط
    اولا : اين يوضع ملف الـ robots.txt ؟
    الاجابة المختصره على هذا السؤال:
    يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل http://www.example.com/robots.txt
    الاجابة المفصله لهذا السؤال :
    ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"

    مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt
    وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT

    ماذا سأضع بداخل ملف الـ robots.txt ؟

    ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
    الامر ابسط مما تتخيلون
    سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها
    رمز Code:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    بواسطتة هذا الكود قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها

    لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده

    رمز Code:
    User-agent: *
    Disallow: /
    بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع




    رمز Code:
    User-agent: *
    Disallow:
    هذا الكود يسمح لجميع العناكب بالدخول وارشفة جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا

    رمز Code:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /junk/
    بواسطة هذا الكود منعنا جميع العناكب من زيارة اقسام معينه من الموقع


    رمز Code:
    User-agent: BadBot
    Disallow: /
    يستخدم هذا الكود لمنع عناكب احد محركات البحث



    رمز Code:
    User-agent: Google
    Disallow:
    
    User-agent: *
    Disallow: /
    هذا الكود يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون



    رمز Code:
    User-agent: *
    Disallow: /~joe/junk.html
    Disallow: /~joe/foo.html
    Disallow: /~joe/bar.html
    وبالطبع هذا الكود لأستثناء الملفات كما هو ظاهر

    _________________
    الدرس القادم سيشرح بعض الاوامر الاخرى المميزه مع اجابة للأسئله الشائعة التى تدور بذهن اى صاحب موقع عن بطلنا ملف الـ robots.txt

    انتهى الموضوع بحمد الله وارجو ان اكون وفقت فى الاعداد

    هذا الشرح فقط سأقوم بوضعه بثلاث مواقع "تراينت و سوالف سوفت و ارابيا فور سيرف"
    عند النقل يرجى ذكر المصدر الاصلى
    http://forum.arabia4serv.com/t16810.html
    أبو سيف و وليد الحبابي معجبون بهذا .
    استضافة + دعم فنى مجانى لعملاء الاستضافة (احترافى)
    تنبيه للمعلنين بخصوص احصائيات المواقع" التفرقه بين الزوار والزيارات والصفحات"
    صحح معلوماتك عن المحتوى المكرر Duplicate content
    كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
    "لا تأخذ المعلومة من مدعى الفهم فهو اخطر من الجاهل"حكمة اليوم
    arabia4serv at gmail.com
    0020106970916
    التعديل الأخير كان بواسطة More; 13 - 09 - 2008 الساعة 08:49
    قديمة 13 - 09 - 2008, 08:49
    المشاركة 2
    اه ياقلبي
    :: عضو نشيط ::
    تاريخ الإنضمام: 15 - 07 - 2005
    رقم العضوية : 6099
    الدولة : الاحساء
    العمر: 32
    المشاركات: 4,927
    افتراضي
    الف شكر اخوي ..

    بصراحه موضوع مفيد كثيررررر

    ويستاهل يتثبت

    احلى تقييم لعيونك اخوي
    قديمة 13 - 09 - 2008, 09:14
    المشاركة 3
    صورة 'felmk' الرمزية
    felmk
    :: عضو نشيط ::
    تاريخ الإنضمام: 07 - 06 - 2008
    رقم العضوية : 59545
    الدولة : الوطن العربي
    المشاركات: 2,149
    • أرسل رسالة بواسطة ICQ إلى felmk
    • أرسل رسالة بواسطة AIM إلى felmk
    • أرسل رسالة بواسطة MSN إلى felmk
    • أرسل رسالة بواسطة Yahoo إلى felmk
    • أرسل رسالة بواسطة Skype™ إلى felmk
    افتراضي
    طيب ازا بدي اعمل الملف لموقعي اي الكلمات الي احطها في الملف؟
    !!
    قديمة 13 - 09 - 2008, 11:54
    المشاركة 4
    صورة 'kotada10' الرمزية
    kotada10
    :: عضو نشيط ::
    تاريخ الإنضمام: 01 - 04 - 2008
    رقم العضوية : 55586
    الدولة : فلسطين (ام الفحم)
    المشاركات: 767
    افتراضي
    اخي بدك كل صحيح انا جربت وعملة ملف وكان عندي اكثر من 20 من العناكب جوجل وياهو بس بعد ما حطيت الملف اختفوا وما عاد يدخل ولا اي شيء من العناكب
    منتدى النور






    الاميل للتواصل




    قديمة 13 - 09 - 2008, 18:13
    المشاركة 5
    صورة 'More' الرمزية
    More
    :: عضو نشيط ::
    تاريخ الإنضمام: 09 - 11 - 2006
    رقم العضوية : 27919
    الدولة : :: مصر ::
    العمر: 34
    المشاركات: 2,184
    افتراضي
    طيب ازا بدي اعمل الملف لموقعي اي الكلمات الي احطها في الملف؟
    على حسب احتياجاتك
    اقرأ الموضوع جيدا وستعرف ماذا تكتب

    اخي بدك كل صحيح انا جربت وعملة ملف وكان عندي اكثر من 20 من العناكب جوجل وياهو بس بعد ما حطيت الملف اختفوا وما عاد يدخل ولا اي شيء من العناكب
    ماذا وضعت بداخل الملف؟
    سعد المصرى معجب بهذا.
    استضافة + دعم فنى مجانى لعملاء الاستضافة (احترافى)
    تنبيه للمعلنين بخصوص احصائيات المواقع" التفرقه بين الزوار والزيارات والصفحات"
    صحح معلوماتك عن المحتوى المكرر Duplicate content
    كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
    "لا تأخذ المعلومة من مدعى الفهم فهو اخطر من الجاهل"حكمة اليوم
    arabia4serv at gmail.com
    0020106970916
    قديمة 19 - 09 - 2008, 22:03
    المشاركة 6
    صورة 'سعد المصرى' الرمزية
    سعد المصرى
    ||| عضو التميز |||
    تاريخ الإنضمام: 28 - 01 - 2008
    رقم العضوية : 51337
    الدولة : مصرى اسكندرانى
    العمر: 37
    المشاركات: 23,637
    الإجابات المقدمة: 10
    افتراضي
    ما شاء الله عليك حبيبى

    شرح والا اروع

    فى انتظار جديدك يا غالى

    احلى تقييم يا حبى
    ما اسهل ان ينسحب الانسان ويقول أنا مقاطع ..على طريقة هاتولي ديمقراطية . الواقع يفرض ضروراته. لابد من التوحد مع من نختلف معهم لانقاذ الثورة.
    - اذا تشاجرت مع اخيك لانه اناني ثم نشب حريق في بيتكم . هل تطلب مساعدة اخيك ام ترفض حتى يسقط البيت على رؤوسكم
    الشيخ حازم صلاح ابو اسماعيل على قناة الحياة يعلن دعمه وتأييده للدكتور محمد مرسي ويدعو كل انصاره والشعب المصري الي انتخابه
    قديمة 19 - 09 - 2008, 23:13
    المشاركة 7
    :: عبدالله ::
    .:: عضو متألق ::.
    تاريخ الإنضمام: 07 - 12 - 2006
    رقم العضوية : 29277
    الدولة : لــيــبــيــا
    المشاركات: 5,760
    افتراضي
    الافضل ان يتم عملها من قووقل ويب ماستر بالاضافة الي ان هناك امر اخر يسمح للعناكب بالدخول لمجلد دون غيره وهو allow

    وشكراً لك

    قديمة 20 - 09 - 2008, 05:11
    المشاركة 8
    صورة 'ourserv.com' الرمزية
    ourserv.com
    :: عضـــو::
    تاريخ الإنضمام: 03 - 08 - 2005
    رقم العضوية : 6746
    الدولة : مصر
    المشاركات: 94
    • أرسل رسالة بواسطة MSN إلى ourserv.com
    • أرسل رسالة بواسطة Yahoo إلى ourserv.com
    افتراضي
    موضوع فعلا شيق

    شكرا لك اخى الكريم
    • أسم الشركـــه : أور سيرف ourserv™ لخدمات أستظافة المواقع
    • صاحب الشركه : أحمد نادر شفيق
    • أداء الشركـــه : تصميم - برمجة - ادارة محتويات - دعاية - دعم منتديات - أستظافة المواقع
    • بريد الشركـــه : [email protected] - [email protected]
    • هاتف الشركه : من داخل مصر (0124952007) من خارج مصر (0020124952007)
    • الدعم الفنــــي : http://www.ourserv.com/support/
    قديمة 21 - 09 - 2008, 18:52
    المشاركة 9
    صورة 'ديجي عمان' الرمزية
    ديجي عمان
    :: عضو نشيط ::
    تاريخ الإنضمام: 12 - 05 - 2008
    رقم العضوية : 59132
    الدولة : سلطنة عمان
    العمر: 29
    المشاركات: 2,774
    • أرسل رسالة بواسطة ICQ إلى ديجي عمان
    • أرسل رسالة بواسطة MSN إلى ديجي عمان
    • أرسل رسالة بواسطة Yahoo إلى ديجي عمان
    • أرسل رسالة بواسطة Skype™ إلى ديجي عمان
    افتراضي
    استاذي ممكن تشوف الملف تبع موقعي؟ هل هو جيد ام لا وشوممكن نعدل علية

    http://www.dj-oman.com/robots.txt
    قديمة 22 - 09 - 2008, 19:49
    المشاركة 10
    صورة 'الفرجاني' الرمزية
    الفرجاني
    :: عضو نشيط ::
    تاريخ الإنضمام: 08 - 11 - 2007
    رقم العضوية : 43726
    الدولة : secret
    المشاركات: 4,886
    افتراضي
    عبد الله لما بتعملها من جوجل بتعملها لجوجل وليس لجميع المواقع يعني بتبقي الافضل لجوجل
    ::اسف::
    في سفر من اجل الدراسة
    قديمة 22 - 09 - 2008, 20:22
    المشاركة 11
    محمدالمهندس
    :: عضو نشيط ::
    تاريخ الإنضمام: 13 - 10 - 2007
    رقم العضوية : 41269
    المشاركات: 691
    • أرسل رسالة بواسطة MSN إلى محمدالمهندس
    افتراضي
    الله يعطيك العافيه
    منتديات التميز
    مركز التحميل
    دليل المواقع

    قديمة 22 - 09 - 2008, 20:31
    المشاركة 12
    :: عبدالله ::
    .:: عضو متألق ::.
    تاريخ الإنضمام: 07 - 12 - 2006
    رقم العضوية : 29277
    الدولة : لــيــبــيــا
    المشاركات: 5,760
    افتراضي
    عبد الله لما بتعملها من جوجل بتعملها لجوجل وليس لجميع المواقع يعني بتبقي الافضل لجوجل
    فاهم عليك اخي وانا مركز عالقووقل اكثر شي لاني هو الوحيد الي مستفيد منه اما الباقي لا فائدة

    قديمة 05 - 01 - 2009, 00:34
    المشاركة 13
    صورة 'ورود اليمن' الرمزية
    ورود اليمن
    :: عضو نشيط ::
    تاريخ الإنضمام: 14 - 06 - 2007
    رقم العضوية : 37686
    المشاركات: 2,951
    افتراضي
    مشكور اخي على الشرح الجميل والوافي

    يعطيك العافية

    http://www.eyoonk.com/vb/


    تحياتي
    الايميل: [email protected]

    جوال: 00967771478998
    قديمة 25 - 07 - 2009, 12:59
    المشاركة 14
    mikel_atef
    :: عضو نشيط ::
    تاريخ الإنضمام: 21 - 10 - 2008
    رقم العضوية : 62076
    الدولة : مصر
    المشاركات: 359
    افتراضي
    شكرا اخي علي الموضوع المتميز

    ولكن لدي مشكلة غريبة نوعا معا

    بعد التحويل موقعي بكون 301

    من ال cpanel

    فوجئت من لوحة تكم المشرفين من جوجل ويب ماستر

    ان لا يسطيع ان يقرا الفيل لانة بالفعل بعد لاتحويل لا يستطيع وجربت المحاولة بوضعة داخل الفلدر المحول الية ولاكن

    جوجل ويب ماستر يظهر لية ما يقراة

    ال ميتا تاج بعد التحويل ولا يستطيع يقرا الفيل نفسة؟؟

    هل من حل؟؟
    قديمة 24 - 10 - 2009, 18:54
    المشاركة 15
    صورة 'رمـادي' الرمزية
    رمـادي
    :: عضو نشيط ::
    تاريخ الإنضمام: 15 - 10 - 2009
    رقم العضوية : 70781
    الدولة : المدينه المنوره
    العمر: 28
    المشاركات: 882
    افتراضي
    يعطيك العافيه اخوي
    بس ابي رايك في الكود تبعي

    http://www.rm-4.com/robots.txt
    اضافة رد
    العلامات المرجعية

    كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث


    اضف موقعك الى اشهر محركات البحث والادلة العالمية كيف تزود ارباحك فى ادسنس بدون غش

    أدوات الموضوع
    طرق العرض



    الساعة معتمدة بتوقيت جرينتش +3 . الساعة الآن : 08:46.
    المعهد غير مسؤول عن أي اتفاق تجاري أو تعاوني بين الأعضاء
    فعلى كل شخص تحمل مسئولية نفسه إتجاه مايقوم به من بيع وشراء وإتفاق وأعطاء معلومات موقعه
    التعليقات المنشورة لا تعبر عن رأي معهد ترايدنت ولا نتحمل أي مسؤولية قانونية حيال ذلك (ويتحمل كاتبها مسؤولية النشر)

    جميع الحقوق محفوظة Traidnt 2015
    • 00966138651070
    • 00966138648289
    • 2051033691
    Powered by vBulletin® Version 3.8.7 .Copyright ©2000 - 2017, Jelsoft Enterprises Ltd
    SEO by vBSEO ©2011, Crawlability, Inc.