תוכן העניינים
קובץ הrobots הוא אחד מנושאי הליבה בכל עולם הקידום, ומהווה את אחד השיעורים החשובים בכל קורס SEO . במאמר זה אסביר לכם על הקובץ, מה המשמעות שלו וכיצד תוכלו להשתמש בו במאמצי הקידום שלכם גם אם אתם לומדים קידום אתרים באופן עצמאי.
במילים פשוטות: מדובר על קובץ המכיל שורות קוד. הקוד מורה למנועי החיפוש לאן הם יכולים לגשת, ולאן לא. לא מומלץ לחסום גישה לתמונות, קבצי CODE ועוד בקובץ, הסיבה היא שכיום גוגל ומנועי חיפוש השונים לא רואים רק קוד, אלא גם יכולים לצפות ולפרש מרכיבים ברמת העיצוב (Visual).
רצוי לאפשר לרובוטים של מנועי החיפוש גישה לכל הדפים באתר, אך, עם זאת, ישנם דפים שלרוב לא מומלץ בכלל שיהיו 'מאונדקסים' במנועי החיפוש, ובפרט בגוגל, למשל: דפי אחסון, דפי התחברות ועוד. מטעמי אבטחה, רצוי שהם לא יהיו גלויים, מפני שהם מסוגלים להעלות את סיכויי הפריצה בצורה משמעותית. ואגב? גוגל די מבינה את עניין האבטחה ולא תגרום לבעיות.
מהו בעצם הקוד הזה? ואיך אני יכול להבין / לפרש אותו?
ובכן, הקוד ניתן לפירוש בצורה די קלה, ולא דרוש שום רקע בתכנות. זהו הקוד שלרוב תתקלו בו באתרכם:
User-agent": *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php"
מה זה User agent?
ובכן, נתחיל בלהסביר שלא מדובר בסוכן מיוחד של הרשויות, אלא בפקודה השייכת לגישה המוענקת למנועי החיפוש השונים. משמעות הסימון "*" היא בעצם מתן גישה לכל מנועי החיפוש.
הפקודה "User-agent" אשר מופיעה בקוד קובעת לאילו מנוע חיפוש ספציפיים תינתן הגישה (ויכולה לאפשר לכולם, כפי שהזכרנו). לרוב, אתרי הוורדפרס כברירת מחדל מגיעים עם הסימון "*". מה שאומר, כפי שציינו קודם, שניתנת לכל מנועי החיפוש גישה לקובץ.
מעוניינים לתת רק למנוע חיפוש מסוים גישה לקובץ? ובכן, כך עושים זאת:
למשל, אם נרצה לתת גישה רק לגוגל, נצטרך לכתוב את הקוד הבא: "User-agent: Googlebot"
במידה ונרצה לשייך את הקובץ רק למנוע החיפוש של בינג, נצטרך לרשום את הקוד הבא:
"User-agent: bingbot"
למידע נוסף ולסוגי קודים נוספים של מנועי החיפוש לחצו כאן. (לחיץ)
חוק ברזל: כל פקודה חדשה שתרצו להגדיר, חייבת להתחיל בשורה הבאה, כך:
User-agent: googlebot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: bingbot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
מה המשמעות של Allow ו־Disallow – מדוע הן חשובות?
דוגמה לקוד עם הפקודה :’Disallow’"Disallow: /wp-admin/", הקוד אומר שאנו שוללים גישה לזחלן ללוח הבקרה של הוורדפרס שלנו.
לעומתה, כל שורה עם הפקודה "Allow", אומרת שלמנוע החיפוש תינתן גישה לקרוא את הנתונים בנתיב \ הקובץ שנציין.
ברגע שתבוצע הפקודה "Disallow" האזור יהפוך ל־”אסור”, וכך מנועי החיפוש לא יוכלו לגשת אליו ו/או לאנדקס אותו בשום מצב. תמונת מצב של הקובץ:
אלו הן שתי הפקודות החשובות ביותר, ולכן, חשוב להבין אותן בצורה נכונה.
מה זה Crawl delay ומה תפקידו?
אנו בטוחים ששמעתם, או ראיתם את פקודת הקוד הזו מתחת לכל קבוצה. הפקודה הזו בעצם אומרת למנוע החיפוש מה קצב סריקת האתר שאתם מאפשרים. במילים אחרות: נותנת לו הגבלה כל שהיא, כדי למנוע תעבורה. בדרך כלל, הקצב לא באמת משנה והפקודה אוטומטית בקצב מוגדר, 10 פעמים ביום. (אם היא מוגדרת בכלל)
לאחר שהבנו מהו קובץ ה־robots, כעת כל מה שנותר לנו לעשות הוא לבדוק אם הכל מתפקד כשורה, ובשביל זה, יש לנו את הכלי הבא של גוגל, בעזרתו נוכל להריץ בדיקה. (כמובן שנצטרך לשלוח את הקובץ לפני כן לגוגל). תמונת המצב של הקובץ בכלי:כפי שניתן לראות, הכל תקין, וניתן להתחיל ולהתכונן לשלבים המרתקים באמת בעולם ה־SEO.
איך הקובץ קשור לעולם קידום האתרים? – 2 דוגמאות לשימושים:
קובץ robots יכול לשמש למטרות רבות, אך לדעתנו השימוש הראשון והחשוב ביותר, הוא למקרה וקיים דף באתר מסוים ובו תוכן משוכפל או דל, מה שיכול לפגוע בקידום האתר. (הלקוחות יכולים לעשות לא מעט בעיות בקטעים האלה…) ניתן להגדיר בקובץ שלא 'יאנדקס' דף או מוצר מסוימים, ובכך נפתרה הבעיה. השימוש הנוסף, למקרה בו אנו בונים ללקוח X אתר הנמצא על הדומין הראשי שלו. לכן, כדאי להגדיר בקובץ שהאתר שבפיתוח לא ייכלל בסריקות העתידיות של גוגל. לדעתנו, יש עוד שימושים רבים לקובץ המיוחד הזה, אך אלו 2 השימושים העיקריים שאנו נוטים לנצל.
טיפ לקובץ ה־robots המפורסם – בדיקה, בדיקה, בדיקה!
אין לדעת מתי הלקוח או החברה הצדדית (במידה וישנה) המתחזקת את אתר הלקוח יבצעו שינויים. כדי למנוע אי-התאמה, מומלץ אחת לכמה חודשים את הקובץ בצורה ידנית, ואולי גם לבצע סריקה קטנה. בנוסף, חברות בניית האתרים לא תמיד מודעות לפעולותיהן, ומניסיוננו, מבדיקות שלנו בעבר, שמנו לב שישנן פקודות הכתובות בקובץ וחוסמות מספר דברים חשובים. כמובן שמיד ערכנו אותו וביצענו את השינויים הדרושים. למען מקרים כאלו, תמיד יש לעקוב אחרי הקובץ. חשוב להבין: השימוש בקובץ איננו בגדר חובה, גוגל לא מגדירה את זה כתנאי סף לאתרים.
שמרו על עצמכם בחוץ, כי גוגל לא נוטה להיות מערכת סלחנית כל כך… בהצלחה :]
