ראשית, חשוב לציין כי העבודה עם הכלי מומלצת לבעלי אתרים שמתמצאים היטב בנושאי קידום. עבודה מוטעית עם הכלי עלולה לגרום לנזקים קידומיים לאתר לפרקי זמן ארוכים ואף הסרתו ממנועי החיפוש! במידה ולא בטוחים, עדיף לא לבצע – פעולה לא נכונה תהיה קשה לביטול.
מהו קובץ robots.txt?
מדובר בקובץ המיועד ספציפית למנועי החיפוש התקניים (להבדיל ממנועי חיפוש שמטרתם איסוף נתונים לספאם) ותפקידו לתת להם הוראות ספציפיות לסריקה, עוד בטרם מנוע החיפוש ניגש לתכנים עצמם. התחשבות בקובץ זה מחייבת מנועי חיפוש העומדים בתקנים, כך שהקובץ יכול להכיל הוראות ספציפיות למניעת סריקה.
קובץ זה תמיד נמצא ברמה הגבוהה ביותר של הדומיין במיקום קבוע - במידה והדומיין הוא domain.com, הקובץ תמיד יימצא בנתיב http://domain.com/robots.txt.
דוגמאות נפוצות לשימוש בכלי הן חסימת הפורומים מסריקה, חסימת סריקת תמונות למנועי חיפוש, חסימת טפסים וכדומה...
מה היתרון בשימוש בקובץ robots.txt?
היתרון הברור בשימוש בקובץ זה הוא בכך שאין צורך לחסום את התכנים מהגולשים עצמם, אך ניתן להשפיע על מה שמנוע החיפוש רואה – במידה ועמוד מוסתר, הוא יהיה מוסתר מעיני מנועי החיפוש והגולשים יחדיו, ועמוד שמוסתר בקובץ robots.txt לא יוצג למנועי חיפוש אך כן יהיה זמין לגולש.
במערכת באופן ספציפי יש יתרון בעבודה עם הקובץ – הקובץ כולל באופן מובנה קישור למפת האתר. דבר זה חוסך את הצורך בהכנסת מפת האתר למנועי חיפוש, כי הם לומדים את מפת האתר כבר מ"פגישתם" הראשונה עם האתר.
כיצד ניתן להשתמש בכלי זה?
ניגש לניהול הכלי דרך "רשימת הכלים" >> "SEO Tools" >> "קובץ robots.txt".
ניתן לעבוד ישירות מול תיבת הטקסט ולרשום בתוכה פקודות, או להשתמש במחולל הפקודות הנמצא בראש העמוד.
(לחץ להגדלה)
מחולל הפקודות מאפשר לבחור מנוע סריקה (user-agent) ולאחר מכן לתת הוראות ספציפיות לאותו מנוע בצורה של נתיבים להסתרה. המערכת כולל רשימה של מנועי סריקה נפוצים וניתן להוסיף שם של מנוע ספציפי במידה והוא לא מופיע ברשימה. לאחר שנרשום את הנתיב, נלחץ הוספת כלל.
בסיום ביצוע כל השינויים נלחץ עדכן נתונים והקובץ יתעדכן בשינויים הרצויים.
