כיצד לחסום את הסורקים של OpenAI מלגרד את האתר שלך

כיצד לחסום את הסורקים של OpenAI מלגרד את האתר שלך
קוראים כמוך עוזרים לתמוך ב-MUO. כאשר אתה מבצע רכישה באמצעות קישורים באתר שלנו, אנו עשויים להרוויח עמלת שותף. קרא עוד.

בעוד שמשתמשים אוהבים את ChatGPT בגלל כמות המידע העצומה שהוא מחזיק כרגע, לא ניתן לומר את אותו הדבר על בעלי אתרים.





סרטון היום של MUO גלול כדי להמשיך עם התוכן

ChatGPT של OpenAI משתמש בסורקים כדי לגרד אתרים, אבל אם אתה בעל אתר, ואתה לא רוצה שהסורק של OpenAI ייגש לאתר שלך, הנה כמה דברים שאתה יכול לעשות כדי למנוע זאת.



כיצד פועלת סריקת OpenAI?

א סורק אינטרנט (המכונה גם עכביש או בוט מנוע חיפוש) היא תוכנית אוטומטית הסורקת את האינטרנט לאיתור מידע. לאחר מכן הוא אוסף את המידע הזה בצורה שקל למנוע החיפוש שלך לגשת אליו.





סורקי אינטרנט מוסיפים לאינדקס כל עמוד של כל כתובת אתר רלוונטית, בדרך כלל מתמקדים באתרים שרלוונטיים יותר לשאילתות החיפוש שלך. לדוגמה, נניח שאתה מחפש בגוגל שגיאה מסוימת של Windows. סורק האינטרנט במנוע החיפוש שלך יסרוק את כל כתובות ה-URL מאתרי אינטרנט שנראה לו סמכותיים יותר בנושא שגיאות Windows.

כיצד להזרים נטפליקס מהטלפון לטלוויזיה

סורק האינטרנט של OpenAI נקרא GPTBot, ולפי התיעוד של OpenAI , הענקת גישה ל-GPTBot לאתר שלך יכולה לעזור לאמן את מודל הבינה המלאכותית להפוך בטוח יותר ומדויק יותר, והיא אפילו יכולה לעזור להרחיב את היכולות של מודל הבינה המלאכותית.



כיצד למנוע מ- OpenAI לסרוק את האתר שלך

כמו רוב סורקי האינטרנט האחרים, ניתן לחסום את הגישה של GPTBot לאתר שלך על ידי שינוי של האתר robots.txt פרוטוקול (ידוע גם בשם פרוטוקול אי הכללת רובוטים). קובץ .txt זה מתארח בשרת האתר, והוא שולט כיצד מתנהגים סורקי אינטרנט ותוכניות אוטומטיות אחרות באתר האינטרנט שלך.

הנה רשימה קצרה של מה robot.txt הקובץ יכול לעשות:



  • זה יכול לחסום לחלוטין את הגישה של GPTBot לאתר.
  • זה יכול לחסום רק דפים מסוימים מכתובת URL מגישה ל-GPTBot.
  • זה יכול להגיד ל-GPTBot אילו קישורים הוא יכול לעקוב, ואיזה לא.

הנה איך לשלוט במה ש-GPTBot יכול לעשות באתר שלך:

חסום לחלוטין את GPTBot מגישה לאתר שלך

  1. הגדר את קובץ robot.txt , ולאחר מכן ערוך אותו עם כל כלי לעריכת טקסט.
  2. הוסף את ה-GPTBot לאתר שלך robots.txt כדלהלן:
 User-agent: GPTBot 
Disallow: /

חסום רק דפים מסוימים מגישה ל-GPTBot

  1. הגדר את robot.txt קובץ, ולאחר מכן ערוך אותו עם כלי עריכת הטקסט המועדף עליך.
  2. הוסף את ה-GPTBot לאתר שלך robots.txt כדלהלן:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

עם זאת, זכור כי שינוי ה robot.txt הקובץ אינו פתרון רטרואקטיבי, וכל מידע שייתכן ו-GPTBot כבר אסף מהאתר שלך לא ניתן לשחזור.



OpenAI מאפשר לבעלי אתרים לבטל את הסכמתם לסריקה

מאז שהסורקים שימשו להכשרת מודלים של AI, בעלי אתרים חיפשו דרכים לשמור על פרטיות הנתונים שלהם.

חלקם חוששים שמודלים של AI בעצם גונבים את עבודתם, אפילו מייחסים פחות ביקורים באתר לעובדה שעכשיו משתמשים מקבלים את המידע שלהם מבלי שהם יצטרכו לבקר באתרים שלהם.

בסך הכל, אם אתה רוצה לחסום לחלוטין צ'אטבוטים של AI מסריקת אתרי האינטרנט שלך היא לגמרי הבחירה שלך.