ישנן סיבות רבות ומגוונות מדוע תרצו למנוע מ- ChatGPT לסרוק את האתר שלכם. בימים אלו, בהם מהפיכת ה-AI מתרחשת ממש לנגד עינינו, רבים חוששים מגניבת תוכן ומידע אישי שהבוט עלול לסרוק ולהשתמש בו לצורך לימוד עצמי ואימון. לכן, ב-OpenAI, החברה שעומדת מאחרי בוט השיחה המפורסם, דאגה לפרסם את שם הבוט כך שנוכל למעשה לחסום אותו מלסרוק את האתר באמצעות קובץ robots.txt.
אם אתם משתמשים בוורדפרס להפעיל את האתר שלכם, סביר להניח שהקובץ כבר קיים בתיקייה הראשית של האתר (public_html), כמו כן תוכלו להוריד תוספים כאלו ואחרים שמאפשרים לכם לנהל את הקובץ ישירות דרך לוח הבקרה. באם האתר שלכם מבוסס על מערכת אחרת או שבניתם אותו בעצמכם, תוכלו ליצור את הקובץ ישירות מה-File Manager או FTP בתיקייה הראשית של האתר, public_html לרוב.
ניתן לצפות בדוגמה לקובץ robots.txt ממש כאן ב-G4A, על ידי לחיצה על הקישור הזה.
רובוט הסריקה של ChatGPT נקרא "CCBot", ולכן יש להוסיף את שתי השורות הבאות בסוף הקובץ:
User-agent: CCBot Disallow: /
וזה הכל. כעת, כאשר הרובוט של ChatGPT יגלוש לאתר שלכם, הוא יראה בקובץ robots.txt שביקשתם שאתרכם לא ייסרק, והוא יכבד את הבקשה וידלג עליו.
