3 סורקי AI של אותה חברה, ורק אחד מהם לומד מהאתר שלכם
מישהו אמר לכם ש-AI לוקח תוכן מאתרים בלי לשאול, אז ביקשתם מהמפתח לחסום אותו. שורה אחת בקובץ קטן, והעניין סגור. רק שאותה שורה יכולה לסגור גם את הדלת שדרכה צ׳טבוט היה מגיע לאתר כדי להמליץ עליכם.
מה קורה כשחוסמים סורקי AI באתר?
חסימת סורקי AI נעשית בקובץ robots.txt, והסורקים לא עושים כולם אותו דבר. ל-Anthropic, למשל, יש 3: אחד אוסף תוכן לאימון, אחד בונה מאגר לחיפוש, ואחד נכנס כשמשתמש שואל שאלה. חסימה גורפת סוגרת את שלושתם. ובספירה שלנו, רק ל-62 מתוך 200 סורקי AI יש תיעוד שהם מכבדים את הקובץ.
מה זה robots.txt, ולמה סורקי AI קוראים אותו?
robots.txt הוא קובץ טקסט קטן שיושב בשורש של האתר, ואפשר לפתוח אותו בדפדפן כמו כל עמוד. תחשבו עליו כמו שלט על דלת הכניסה: "שליחים מחברה א׳ נכנסים, מחברה ב׳ לא". את השלט קוראים סורקים, תוכנות שעוברות מעמוד לעמוד וקוראות את מה שכתוב בו.
פעם הקוראים העיקריים היו מנועי חיפוש. היום יש בתור גם את הסורקים של חברות ה-AI.
כל קבוצה בקובץ בנויה משתי שורות: User-agent, השם של הסורק, ומתחתיה Allow או Disallow, מותר או אסור. כוכבית במקום שם פירושה "כל מי שלא הוזכר בשם".
למה חברה אחת צריכה 3 סורקים שונים?
כי כל אחד מהם עושה עבודה אחרת. Anthropic, החברה שמפתחת את Claude, מפרסמת בעמוד העזרה שלה טבלה מסודרת של הסורקים שלה, ומה קורה לאתר שחוסם כל אחד מהם:
- ClaudeBot אוסף תוכן שעשוי לשמש לאימון המודלים. חסימה שלו מסמנת שחומרים עתידיים מהאתר לא ייכנסו לאימון
- Claude-SearchBot סורק כדי לשפר את תוצאות החיפוש של Claude. חסימה שלו עלולה להוריד את הנראות של האתר בתוצאות האלה
- Claude-User נכנס כשמשתמש שואל את Claude שאלה ו-Claude צריך לקרוא עמוד כדי לענות. חסימה שלו מונעת מ-Claude להביא את התוכן שלכם לתשובה
כלומר, מי שכותב בקובץ שורה אחת שחוסמת "את ה-AI" מוותר על שלושה דברים שונים בבת אחת. גם OpenAI וגוגל מחזיקות עמודי תיעוד עם השמות של הסורקים שלהן, וכדאי לקרוא אותם לפני שמוחקים או מוסיפים שורה.
כמה מסורקי AI בכלל מקשיבים לקובץ?
פחות ממה שנדמה. ב-29 באוקטובר 2026 הורדנו את הרשימה הפתוחה ai.robots.txt, פרויקט בגיטהאב שאוסף שמות של סורקי AI, וספרנו לפי הסימון של הפרויקט עצמו. ברשימה 200 שמות. ל-62 מהם, כ-31%, יש תיעוד שהם מכבדים את robots.txt. על 11 מתועד שהם לא מכבדים אותו, ועל 127 פשוט לא ידוע.
וזה מה שכדאי לזכור על הקובץ: הוא בקשה מנומסת. סורק שמכבד אותו יעצור, וסורק שלא, ימשיך.
ובכל זאת, יותר ויותר אתרים כותבים בו לסורקי AI. בדוח Web Almanac 2025 של HTTP Archive, הסורק GPTBot של OpenAI מוזכר בשמו ב-4.5% מאתרי הדסקטופ שנבדקו, לעומת 2.9% שנה קודם. אזכור יכול להיות היתר, חסימה או הגבלת קצב, והדוח לא מפריד ביניהם.
מי שרוצה לחסום באמת חוסם ברמת השרת, למשל לפי כתובת IP, וזה כבר עניין של ניהול השרת והאחסון. אבל Anthropic מציינת שחסימה כזו עלולה לא לעבוד כמו שצריך, כי היא מונעת מהסורק לקרוא את robots.txt ולדעת שביקשתם ממנו להתרחק.
מה כתבנו בקובץ של האתר הזה, ולמה?
באתר שלנו סורקי ה-AI של החברות הגדולות מקבלים היתר מפורש, כולל סורקי האימון. בקובץ מופיעים בשמם הסורקים של OpenAI, Anthropic, Perplexity, Apple ואחרים, כל אחד עם Allow: /.
הסיבה פשוטה. לעסק שמוכר שירות, להיות מוכר למודלים שווה יותר מהסיכון שמישהו ילמד משהו מעמוד השירות שלו. ואת מה שכן חסמנו בחרנו בכוונה: סורקים של כלי SEO מסחריים, כמו AhrefsBot ו-SemrushBot, שצורכים משאבי שרת בלי תועלת לעסק.
לעסק אחר ההחלטה יכולה להיות הפוכה. מי שהתוכן הוא המוצר שלו, למשל קורס בתשלום או מאגר מתכונים, יכול לחסום רק את סורק האימון ולהשאיר פתוחים את החיפוש ואת השאלות של משתמשים. לבדוק שהסורקים של מנועי התשובות לא חסומים בטעות זה חלק מהעבודה שלנו בקידום אורגני לעסקים.
איך בודקים את הקובץ שלכם בחמש דקות?
לא צריך שום כלי. דפדפן מספיק:
- פתחו את הקובץ. הקלידו בשורת הכתובת את הדומיין שלכם ואחריו /robots.txt, למשל example.co.il/robots.txt.
- אם קיבלתם עמוד שגיאה, אין לכם קובץ, וכל הסורקים רשאים להיכנס. זה לא בהכרח רע.
- חפשו את המילה Disallow בעזרת Ctrl ו-F. מתחת לכל שם של סורק, השורה Disallow: / אומרת "כל האתר סגור בפניך".
- בדקו את הכוכבית. אם מתחת ל-User-agent: * כתוב Disallow: /, האתר סגור גם בפני גוגל. זו תקלה דחופה.
- רשמו את השמות שחסומים, ולכל אחד שאלו: הוא לומד, מחפש או עונה לשאלה של משתמש? אם אתם לא יודעים מי הוסיף את החסימה, שאלו את מי שמתחזק את האתר.
תוספי SEO ותבניות בוורדפרס יכולים לכתוב לקובץ שורות בלי שמישהו שם לב, אז שווה לחזור עליו אחרי עדכון גדול. שינוי כזה אחרי עדכון הוא בדיוק מה שתחזוקת אתרים אמורה לתפוס.
סורקי AI ו-robots.txt: מה עוד רציתם לדעת
חסימה של סורקי AI תפגע במיקום שלי בגוגל?
רק אם חסמתם את הסורק של גוגל עצמו, Googlebot, או את כולם בבת אחת עם כוכבית. כל קבוצה בקובץ חלה על השם שכתוב מעליה. שורה שחוסמת את ClaudeBot נוגעת ל-Anthropic בלבד, והסורק של גוגל ממשיך לפי הכללים שנכתבו לו.
אם אחסום את ClaudeBot היום, Claude ישכח את האתר שלי?
לפי Anthropic, החסימה מסמנת שחומרים עתידיים מהאתר לא ייכנסו לאימון. על מה שנאסף לפני כן היא לא אומרת דבר. וכל עוד Claude-SearchBot ו-Claude-User לא חסומים, Claude עדיין יכול לקרוא את האתר כשמשתמש שואל עליו.
צריך לכתוב בקובץ שורה לכל סורק?
רק לסורק שאתם רוצים להתייחס אליו אחרת מכולם. הכללים שמתחת לכוכבית חלים על כל מי שלא הוזכר בשם. אנחנו כתבנו את סורקי ה-AI בשמם גם כדי לאשר אותם, כי ככה מי שפותח את הקובץ רואה שזו החלטה ולא שכחה.
מה ההבדל בין robots.txt ל-llms.txt?
robots.txt אומר לסורקים לאן מותר להם להיכנס. llms.txt הוא הצעה חדשה יותר: קובץ שמסכם למודלי AI את האתר בטקסט פשוט. לפי Web Almanac 2025 הוא קיים רק בכ-2% מהאתרים, ואין עדיין הסכמה שהמנועים הגדולים קוראים אותו. לאתר שלנו יש אחד.
הקובץ מסתיר עמודים מגולשים?
שום דבר. גולש שמקליד כתובת של עמוד יגיע אליו בלי קשר למה שכתוב בקובץ. ויש לזה צד הפוך: כל אחד יכול לקרוא את robots.txt, אז כתובת של עמוד שאתם רוצים להסתיר רק תמשוך אליו תשומת לב. עמוד פרטי מגינים עליו בסיסמה.
איך יודעים אם סורק AI באמת נכנס לאתר?
ביומני השרת, שבהם כל ביקור נרשם יחד עם השם שהסורק מציג. מי שמנהל את האחסון יכול לסנן לפי ClaudeBot, GPTBot או כל שם אחר ולראות כמה פעמים ביקשו עמודים ומתי. כלי אנליטיקס רגיל בדרך כלל לא מראה את הביקורים האלה.
הקובץ אצלכם נראה כמו שפה זרה? נקרא אותו יחד
שלחו את כתובת האתר, ונגיד לכם אילו סורקים נכנסים, אילו חסומים, ואם החסימה נראית כמו החלטה או כמו שארית של תוסף.