חוקרים ומכוני סקרים מתחילים להשתמש בפרסונות של מודלי שפה גדולים כדי לדמות דעת קהל במהירות ובזול. השאלה הקשה אינה רק האם הפרסונה “מחזיקה” עמדה סבירה. השאלה היא האם היא משנה עמדה כמו אדם, כשמציגים לה מידע חדש.
במאמר “Before You Poll with LLMs: A Deliberative Diagnostic Framework” (arXiv:2609.15849) מציגים Ahmed Wali ו-Hassaan Tayyab מסגרת שמשווה שינויי אמונה של בני אדם ושל פרסונות מודל אחרי אותה התערבות מידעית.
פתיח
סיליקון סמפלינג (silicon sampling) מציע לדמות סקר ציבורי דרך אלפי פרסונות ממוחשבות. רוב הבדיקות הקיימות בודקות תמונת מצב סטטית: האם הפרסונה מחזיקה את העמדה “הנכונה”. אבל מחקר דעת קהל, ובעיקר סקרים דיליברטיביים, תלוי גם בנאמנות דינמית. כלומר, האם הפרסונה מעדכנת אמונות בתגובה לטיעונים חדשים, כמו אנשים בדיון.
לפי המחברים, אין עדיין מדד סטנדרטי שבודק בדיוק את זה. המסגרת שלהם נועדה לחשוף כשלים שלא נראים בבדיקה סטטית.
1. מה החוקרים עשו
הם בנו Deliberative Polling Diagnostic Framework, מסגרת שמשווה שינויי אמונה אנושיים ושל מודלים אחרי אותן התערבויות מידע. הבסיס הוא סקר דיליברטיבי, שבו משתתפים מקבלים מידע מאוזן ואז מביעים עמדה מחדש.
הם יישמו את המסגרת על חמישה מודלי קצה, עם נתונים מ-America in One Room: 526 פרסונות ו-72 שאלות. כך אפשר לבדוק לא רק מה הפרסונה “חושבת”, אלא איך היא זזה אחרי מידע.
2. כל המודלים נכשלו, כל אחד בדרך אחרת
לפי הממצאים, כל חמשת המודלים נכשלו, אבל לא באותו אופן.
GPT-5.1 הציג היפוך: אחרי מידע מאוזן, הפרסונות שלו נעשו עוינות יותר כלפי הצד השני, בעוד שבני אדם נעשו פחות עוינים. ההיפוך היה סלקטיבי: כ-80 אחוז בשאלות על הקבוצה החיצונית, לעומת כ-26 אחוז בשאלות מדיניות, והוא היה סימטרי בין זהויות מפלגתיות.
Gemini 2.0 Flash, Claude Sonnet 4.5 ו-Llama 3.3 70B הציגו חריגה לכיוון הנכון, אבל בעוצמה של פי 5 עד 7 משינוי האנושי. DeepSeek V3 הציג קשיחות, עם שינוי כמעט אפסי.
3. מה מניע את הכשל: תוכן מדיניות וזהות
בבדיקות ממוקדות מצאו המחברים שתוכן מדיניות הוא מה שמפעיל את הכשלים, ושהם תלויי זהות. GPT-5.1 היפוך בשאלות על הקבוצה החיצונית, אבל חרג לכיוון הנכון בשאלות על הקבוצה הפנימית. ל-Gemini היה דפוס הפוך.
הם מכנים את החתימה הזאת self-sycophancy: התאמה לסטראוטיפ הפנימי של המודל לגבי הפרסונה, במקום הסקה מהמידע שסופק. במילים פשוטות, המודל מתנהג כמו שהוא “מצפה” שהפרסונה תתנהג, לא כמו משתתף ששוקל טיעונים חדשים.
4. מה המחקר אינו מוכיח
זה מחקר על דינמיקת עדכון אמונות בפרסונות מודל, בהקשר אמריקאי ובמערך נתונים ספציפי. הוא אינו טוען שסקרים עם בני אדם מיותרים, וגם לא שכל שימוש בפרסונות מודל פסול. המסר הוא צר יותר: לפני שסומכים על פרסונות כדי לדמות שינוי עמדה אחרי דיון או מידע, צריך לבדוק נאמנות דינמית, לא רק התאמה סטטית לעמדות ידועות.
למה זה חשוב
בדמוקרטיה, סקרים דיליברטיביים וניסויי מידע נועדו לעזור להבין איך אזרחים מעדכנים עמדות כשהם נחשפים לטיעונים מאוזנים. אם מודלים מחליפים את השלב הזה בלי בדיקה, אפשר לקבל תמונה מעוותת של “מה הציבור יחשוב אחרי דיון”.
זה רלוונטי למכוני מחקר, לקמפיינים, לעיתונאים ולמי שמציע סימולציות דעת קהל מבוססות בינה מלאכותית. מודל שמייצר עמדות מפלגתיות משכנעות עלול עדיין לעוות את כיוון השינוי, את עוצמתו, או את שניהם. בלי אבחון דיליברטיבי, הסיכון הוא לטעות לא רק לגבי מה אנשים חושבים עכשיו, אלא גם לגבי איך הם מתעדכנים כשמציגים להם מידע.
המלצת המחברים מעשית: להריץ את האבחון הדיליברטיבי לפני שסומכים על פרסונות מודל כדי לחקות אמונות מעודכנות אחרי מידע.
קרדיט למאמר
Wali, Ahmed; and Tayyab, Hassaan. (2026). “Before You Poll with LLMs: A Deliberative Diagnostic Framework.” arXiv:2609.15849. https://arxiv.org/abs/2609.15849
הערה: הסיכום נשען על התקציר והמטא-דאטה הרשמיים ב-arXiv. זה מחקר טרם ביקורת עמיתים (preprint).