כשאותות זהות בשאילתה מטים את תוצאות החיפוש

כשאנחנו מחפשים חדשות, או כשמודל שפה שולף מקורות לפני שהוא עונה, מישהו כבר בחר אילו מסמכים יגיעו אלינו. מערכת השליפה הצפופה היא השוער הזה. מחקר חדש מאוניברסיטת קולומביה שואל שאלה פשוטה ומטרידה. האם אותות זהות בשאילתה עצמה, למשל נטייה פוליטית או דיאלקט, מטים את מה שהמערכת מחזירה?

במאמר “Retrieval Sensitivity to Identity Signals in Queries” (arXiv:2609.36534) בודקים Andrew Tang, Nicholas Deas, Kathleen McKeown ו Vishal Misra חמישה מודלי שליפה צפופים ועוד בסיס לקסיקלי. הם מוצאים דפוס עקבי. השליפה נוטה לצד של השואל, ובשאלות בריאות היא גם פחות טובה כשהשאלה כתובה ב African American Language.

פתיח

רוב בדיקות הביקורתיות של מערכות שליפה משתמשות בשאילתות ניטרליות. בחיים האמיתיים אנחנו כותבים אחרת. שאלה על שכר מינימום יכולה להדגיש צדק חברתי או עלות למעסיקים. שאילתה על בריאות יכולה לשאת סימנים של ניב דיבור. אם המערכת מגיבה לאותות האלה, התוצאה אינה רק חיפוש גרוע. היא עלולה להעמיק קיטוב פוליטי או להרע את הגישה למידע.

המחברים בונים שני עולמות בדיקה. אחד פוליטי, על מאמרי חדשות עם תוויות שמאל וימין מ AllSides. השני רפואי, על שאלות צרכנים מ HealthCareMagic. בכל עולם יש זוג נתונים. סט סינתטי מבוקר, שמחזיק את הנושא קבוע ומשנה בעיקר את אות הזהות, וסט טבעי יותר משאילתות אמיתיות.

1. השליפה מעדיפה את הצד של השואל

בחלק הפוליטי בונים אלפי זוגות שאילתות שמאליות וימניות על אותו סיפור חדשותי ואותו מסגרת ניסוח. אחר כך בודקים גם שאילתות מ Reddit, מקהילות AskALiberal ו AskConservatives, עם סיווג אידאולוגי מוסכם של שני מודלים.

המדד המרכזי הוא lean של עשר התוצאות הראשונות. כמה מהמאמרים שנשלפו הם ימניים לעומת שמאליים. בכל ששת המערכות שנבדקו, כולל BM25 ו OpenAI text-embedding-3-large, מופיעה נטייה מובהקת לכיוון של השואל. מי ששואל משמאל מקבל יותר תוצאות שמאליות. מי ששואל מימין מקבל יותר תוצאות ימניות.

הממצא מחזיק גם כשמצמצמים רק למסמכים רלוונטיים, וגם בעומקי שליפה שונים. בסט המבוקר, שבו הנושא והמסגרת זהים, קשה לטעון שהפער נובע רק מבחירת נושא אחר של שואל מפלגתי. גם הסט הטבעי מצביע לאותו כיוון.

2. אות הזהות נשאר גם אחרי ניכוי אוצר מילים

אפשר לחשוב שהכל זה מילים. שאלה ימנית משתמשת במילים אחרות, ולכן מחזירה מאמרים אחרים. המחברים בודקים את זה. הם מחשבים ציון אסימטריה לקסיקלית לכל שאילתה, ואז מנקים את הפער ממה שהמילים לבדן מסבירות.

בסטים הסינתטיים המבוקרים, הפער נשאר. כלומר המערכת לא רק מתאימה מילים משותפות. היא גם קולטת את אות הזהות בייצוג עצמו. בדיקות probing מראות שאפשר לשחזר מההטמעה של השאילתה את הנטייה הפוליטית ואת הדיאלקט, מעבר לתכונות ברמת אסימון בודד.

בסטים הטבעיים התמונה מעט מורכבת יותר. חלק מהמודלים מצטמצמים אחרי ניכוי הלקסיקון, ואחרים נשארים עם שאריות מובהקות. המסר הכללי ברור. ההטיה אינה רק מקרית של טוקנים חופפים.

3. גם דיאלקט משנה את איכות השליפה

בחלק הבריאותי משווים שאילתות ב White Mainstream English לשאילתות עם מאפייני African American Language. בסט הסינתטי מחזיקים את התוכן קבוע ומשנים בעיקר צורת הדיבור. בסט הטבעי משווים שאילתות אמיתיות משתי הקבוצות.

בכל המערכות, דירוג התשובה הנכונה נמוך יותר כשהשאלה כתובה ב AAL. הפער מובהק כמעט בכל הבדיקות. ניסיון פשוט לתרגם חזרה ל WME לא סוגר את הפער. זו לא רק בעיה של סגנון. זו פגיעה הקצאתית בגישה למידע רפואי.

למה זה חשוב

בדמוקרטיה, אזרחים לא חיים רק על מה שהם שומעים מחברים. הם גם שואלים מנועי חיפוש ומערכות RAG. אם השאילתה כבר נושאת אות פוליטי, והמערכת מחזירה מסמכים שמחזקים אותו, נוצר מעגל אישור. הקיטוב לא נולד רק ברשתות חברתיות. הוא יכול להיוולד גם בשכבת השליפה שמזינה אותן ושמזינה מודלי שפה.

המחקר חשוב כי הוא מפריד בין הטיית המאגר להטיית השליפה עצמה. הוא גם מראה שהבעיה חוצה ארכיטקטורות. לא מדובר במודל אחד שבור. מדובר בדפוס שחוזר בחמישה מודלים צפופים ובבסיס לקסיקלי.

למי שבונה כלי מידע ציבורי, מנוע חיפוש אזרחי, או מערכת שמסכמת חדשות לאזרחים, יש כאן אזהרה מעשית. אל תבדקו רק שאילתות ניטרליות. בדקו גם שאילתות עם אותות זהות, מדדו האם התוצאות נוטות לצד השואל, ושאלו אם יש מיתון ברמת הייצוג ולא רק תיקון מילולי. בלי זה, כלי שנראה ניטרלי עלול להעמיק את מה שהדמוקרטיה כבר מתקשה להכיל.

קרדיט למאמר

Tang, Andrew; Deas, Nicholas; McKeown, Kathleen; Misra, Vishal (2026). “Retrieval Sensitivity to Identity Signals in Queries.” arXiv:2609.36534. https://arxiv.org/abs/2609.36534

הערה: הסיכום נשען על המאמר המלא בarXiv. זה מחקר טרם ביקורת עמיתים (preprint). הממצאים אמפיריים על מודלי שליפה ספציפיים ועל מקורות נתונים מסוימים, ואין לראות בהם מיפוי מלא של כל מנועי החיפוש או של כל זהויות חברתיות.