ציטוטים ב- ChatGPT משתנים כשצינורות החיפוש הנסתרים מתחלפים

פתיחה

שני ניתוחים חדשים מצאו שהמקורות המצוטטים של ChatGPT השתנו כשתעבורת החיפוש שלו עברה בין צינורות אחזור (retrieval pipelines) נסתרים.

הממצאים

מחקר של כריס גרין (Chris Green) וסוגנת'ן מוהנאדסן (Suganthan Mohanadasan) מוסיף סיבוך חדש למעקב אחר הנראות בתשובות AI: התשובה הסופית לא חושפת כיצד ChatGPT בחר את המקורות שלו.

• שני החוקרים מצאו תוויות פנימיות לבחירת מקורות, כולל Labrador, Bright, Oxylabs ו-SERP.
• התוויות האלה נמצאות ברקע של התשובה, לא בכרטיסי המקורות המוצגים למשתמשים.

צינורות נסתרים שינו מקורות

גרין בדק 1,000 פרומפטים עד 10 פעמים כל אחד, ותיעד 9,946 הרצות חיפוש שהושלמו. רוב הפרומפטים נשארו על מקור אחזור אחד. Labrador ייצג 88.1% ממקורות החיפוש הראשיים בדאטהסט שלו, ואחריו Bright ב-9.9%, Oxilabs ב-1.7%, ו-SERP ב-0.3%.

• אבל 11.6% מהפרומפטים שינו את מקור החיפוש הראשי בין הרצות חוזרות.
• חפיפות URL ירדו מ-0.273 ל-0.149 כשמקור החיפוש השתנה. חפיפת דומיינים ירדה מ-0.265 ל-0.155. גרין חישב זאת כירידה של כ-45% בחפיפות URL וכ-42% בחפיפת דומיינים.

התוויות שמאחורי התוצאות

מוהנאדסן בדק יומיים של תעבורת רשת גולמית ב-ChatGPT מחשבון Pro מחובר אחד, ותיעד כ-1,240 רשומות מקור על פני כמה עשרות חיפושים.

• הוא מצא שדה result_source שמצורף לתוצאות רשת (Web), עם ארבע ערכים שנצפו: SERP, Bright, Labrador ו-Oxilabs.
• הוא מצא ש-Labrador כולל publishers מבוססים ואתרי Reference, Bright קשור ל-Bright Data, Oxylabs קשור ל-Oxylabs, ו-SERP כ-baseline של הרשת הפתוחה (Open-Web) שהופיע בעיקר בתוצאות בסגנון חדשות.
• מבחן הפרומפטים החוזר של גרין מצא ש-Labrador שלט בדאטהסט שלו.
• מוהנאדסן שייך ל-Bright תפקיד גדול יותר בדגימה שלו, במיוחד בשאילתות מסחריות, קניות, פיננסים, מזג אוויר ומקומיות.

חלק מהפרומפטים לגמרי דילגו על חיפוש

מוהנאדסן גם מצא ש-ChatGPT סיווג חלק מהשאילתות לפני החיפוש, באמצעות שדה turn_use_case. חלק מהפרומפטים סווגו כ-text ודילגו לחלוטין על חיפוש ווב, גם כשהם נשמעו עדכניים. במקרים כאלה, שום דף לא יכול היה להישלף, להיות מצוטט או משומש כראיה.

• שאילתות "חשיבה" מורכבות יותר התנהגו אחרת. מוהנאדסן מצא ש-ChatGPT יכול להתפצל לעשרות חיפושים, כולל בדיקות site:, בדיקות מחיר, וחיפושים אחר מתחרים ללא שם.
• ההתנהגות הזו משנה אילו דפים יכולים להיכנס לתהליך התשובה, מפני ש-ChatGPT עלול לחפש שאילתות משוכתבות, בדיקות אתרים ישירות, או follow-up checks במקום הניסוח המדויק שהמשתמש הקליד.

נשלף לא אומר שצוטט

מוהנאדסן הפריד בין שלוש תוצאות: fetched (אוחזרו), cited (צוטטו) ו-mentioned (אוזכרו).

• דף יכול להישלף לקונטקסט של ChatGPT בלי שיוצג למשתמשים. הוא יכול להיות מצוטט כמקור מאחורי משפט ספציפי ומותג יכול להיות מאוזכר בלי להוות המקור של הטענה.
• בדגימה קטנה של שאילתות מסחריות Reddit ו-YouTube נשלפו הרבה, אבל Reddit צוטט ו-YouTube לא. הוא שייך את הפער לזמינות של הטקסט: ב-Reddit אשכולות מכילים טקסט בעוד שתוצאות חיפוש ב-YouTube מספקות מטהדאטה במקום תמלול מלא של הוידאו.
• דפי יצרן צוטטו בהקשר העובדתי שלהם, כמו מחירים ומפרטים. דפי צד שלישי תמכו בהמלצות רחבות יותר.

למה זה חשוב

לא ניתן למדוד תוצאת נראות אחת בלבד של ChatGPT. הדף שלכם עלול לא להיבדק לעולם אם ChatGPT מדלג על החיפוש, משתמש במקור אחזור אחר, או מוצא דף צד שלישי ברור יותר שתומך בטענה.

דפים קריאים היו קלים יותר לשימוש

שני הניתוחים הראו שבחירת המקורות של ChatGPT הייתה תלויה חלקית במה שהוא הצליח לאחזר ולקרוא.

• מוהנאדסן מצא מקרים שבהם נראה ש-ChatGPT העדיף דפי מחיר רשמיים ואז חזר למקורות צד שלישי כשמחירים היו מוסתרים מאחורי JavaScript או קשים לניתוח (סמנטי).
• גרין הציג תוצאות שבהן ניתוב המקור שינה אילו URL ודומיינים נכנסו לסט התשובות.
• HTML פשוט, עובדות שניתן לסרוק (crawlable), מחירים ומפרטים ברורים, שיעור כיסוי (Coverage) צד שלישי חזק, ודפים עשירים בטקסט הפכו למשמעותיים יותר כאשר בחירת המקור הייתה תלויה באחזור וקריאות.