השפעה עוינת בדיון מרובה סוכנים: הגודל לא מגן

דיון קבוצתי בין סוכני בינה מלאכותית נתפס לעיתים כדרך לשפר החלטות. השאלה הפחות נוחה היא מה קורה כשחלק מהסוכנים לא פועלים בתום לב.

במאמר “How does Adversarial Influence Scale in Multi-Agent Systems?” (arXiv:2609.30028) בוחנים Addison J. Wu, Jasin Cekinmez, Michel Liao, Karthik Narasimhan וThomas L. Griffiths כיצד רגישות להטעיה משתנה כשגודל הקבוצה גדל וכששיעור המטעים עולה.

פתיח

דיון מרובה סוכנים יכול לשפר ביצועים. בפועל, סוכן עלול להיות מטעה ולנסות לערער את הקבוצה, בין אם מתוך מטרותיו ובין אם בהוראה חיצונית. המחברים שואלים לא רק אם הטעיה אפשרית, אלא איך היא משתנה עם גודל הקבוצה ועם שכיחות המטעים.

הממצא המרכזי חד. לא מספר הסוכנים הוא שקובע, אלא שיעור המטעים בקבוצה. שיעור העריקה, כלומר כמה פעמים סוכנים שהתחילו עם תשובה נכונה עוברים לתשובה שגויה בסוף, עולה באופן ליניארי עם השיעור הזה.

1. שיעור המטעים חשוב יותר מגודל הקבוצה

כשהקבוצה גדלה, אפשר לחשוב שההגנה מתחזקת. לפי המחקר, זה לא מספיק. אם גם היריב מגדיל את נוכחותו באותו יחס, הרגישות נשארת. הוספת סוכנים כשלעצמה אינה מגן.

המסר המעשי ברור. לא מספיק לשאול “כמה סוכנים יש בדיון”. צריך לשאול איזה חלק מהם עלול לפעול נגד האינטרס הקבוצתי.

2. סוכני שפה נכנעים גם כשהמטעים במיעוט

המחברים משווים את התוצאות למחקרי קונפורמיות בבני אדם.

בבני אדם, השפעה משכנעת מופיעה בעיקר כשהמטעים הם רוב. אצל סוכני מודל שפה, עריקה מופיעה באופן סדיר גם כשהמטעים נשארים במיעוט.

כלומר, הסף שבו דיון מרובה סוכנים נשבר שונה מהסף האנושי המוכר. קבוצה שמסתמכת על “רוב ישר” עלולה להישאר פגיעה גם כשהרוב הזה קיים על הנייר.

3. זהות המודלים משנה, ותיאום פרטי של מטעים לא תמיד עוזר להם

הרגישות תלויה גם באילו מודלים מדברים זה עם זה, במיוחד בצד של הסוכנים הישרים. לא כל הרכב קבוצה פגיע באותה מידה.

ממצא מפתיע נוסף: כשמרשים למטעים לתאם ביניהם באופן פרטי, הם לא בהכרח נעשים יעילים יותר. לפעמים התיאום מקטין את השפעתם. זה לא מבטל את הסיכון, אבל מראה שהדינמיקה של השפעה עוינת אינה פשוטה כמו “יותר תיאום שווה יותר נזק”.

למה זה חשוב

בדמוקרטיה, דיון קבוצתי הוא מנגנון לבירור עמדות, לתיקון טעויות ולגיבוש החלטה. ככל שיותר תהליכים ציבוריים נשענים על סוכני בינה מלאכותית, השאלה אינה רק אם הם “חכמים מספיק”, אלא אם הם עמידים בפני השפעה עוינת בתוך הדיון עצמו.

המחקר מציב אזהרה תכנונית. הגדלת מספר הסוכנים אינה תחליף לבקרה על הרכב הקבוצה, על תמריצים, ועל היכולת לזהות סוכנים שפועלים בחוסר תום לב. אם יריב יכול להתרחב יחד עם הקבוצה, “יותר משתתפים” לא פותר את הבעיה.

למעצבי מערכות דיון, לפלטפורמות ממשל משתתף, ולמי שבוחן שימוש בסוכנים להיוועצות ציבורית, יש כאן קריטריון ברור למדידה: לא רק דיוק ממוצע של הקבוצה, אלא שיעור העריקה כפונקציה של שיעור המטעים. בלי מדד כזה, קל לטעות ולחשוב שקבוצה גדולה יותר היא בהכרח בטוחה יותר.

קרדיט למאמר

Wu, Addison J.; Cekinmez, Jasin; Liao, Michel; Narasimhan, Karthik; Griffiths, Thomas L. (2026). “How does Adversarial Influence Scale in Multi-Agent Systems?” arXiv:2609.30028. https://arxiv.org/abs/2609.30028

הערה: הסיכום נשען על התקציר והמטא-דאטה הרשמיים בarXiv. זה מחקר טרם ביקורת עמיתים (preprint). הממצאים מגיעים מסביבות ניסוי של סוכני מודל שפה, וההעברה לדיון אנושי או לתהליכים דמוקרטיים בשטח דורשת זהירות.

מיון פוליטי יכול להפריד בין מודלי AI דרך משוב משתמשים

מודלי שפה הופכים במהירות למקור חשוב למידע פוליטי. השאלה הפתוחה היא האם הם יחזיקו בסיס ידע משותף, או שקבוצות פוליטיות שונות יסתמכו על מודלים שהולכים ונפרדים.

במאמר “Political Sorting Can Drive AI Models Apart Through User Feedback” (arXiv:2609.28486) בוחנים Petter Törnberg, Michael Heseltine, Nicolò Pagan, Christopher Bail, Michelle Schimmel וChristopher Barrie את התנאים שבהם מיון פוליטי של משתמשים יכול להפוך להבדלים יציבים בין המודלים עצמם.

פתיח

המחברים מתארים תהליך חיזוק עצמי שהם מכנים ספירלת יישור צנטריפוגלית (Centrifugal Alignment Spiral). שלושה תנאים מספיקים כדי להניע אותו. משתמשים בעמדות פוליטיות שונות בוחרים מודלים שונים. למידה ממשוב משתמשים דוחפת את המודלים האלה בכיוונים פוליטיים מנוגדים. ההבדלים שנוצרים משפיעים על הבחירה הבאה של משתמשים. כך נוצר מעגל.

הם בודקים את הרכיבים בשלושה שלבים: ניסוי אנושי על בחירת מודל, כוונון עדין על משוב סינתטי דמוקרטי או רפובליקני, ומודל מבוסס סוכנים שמצמיד את שני המנגנונים יחד.

1. זהות פוליטית מנבאת בחירת מודל

בשלב הראשון נשענים על ניסוי אנושי. הממצא הפשוט והחשוב: זהות פוליטית מנבאת איזה מודל אנשים בוחרים. כבר כאן נפתח פער בכניסה. לא כולם נכנסים לאותו “חדר ידע”.

2. משוב פוליטי מפריד בין מודלים מאותה משפחה

בשלב השני כווננו מודלי שפה על משוב סינתטי שמשקף העדפות בעיקר דמוקרטיות או בעיקר רפובליקניות. חמש הרצות עצמאיות לכל משפחת מודלים.

התוצאה חדה. זוגות מודלים שהתחילו קרובים נפרדו ב12 עד 41 אחוז משאלות סקר שלא נראו באימון, בשאלות שיש בהן פערים מפלגתיים גדולים. בכל הרצה ההבדלים נעו בכיוון הפוליטי הצפוי. בחלק מהמודלים ההפרדה הגיעה גם לתחומי מדיניות שלא נכללו באימון.

כשאיחדו את המשוב מכל הקבוצות יחד, ההפרדה דווקא דוכאה. כלומר, לא “למידה ממשתמשים” כשלעצמה היא הבעיה. הבעיה היא למידה נפרדת מקהלים שכבר ממוינים פוליטית.

3. כשמיון והסתגלות פועלים יחד, הפער מתרחב

בשלב השלישי בנו מודל מבוסס סוכנים שמעוגן בנתונים אמפיריים. כשמיון פוליטי והסתגלות מודל פועלים יחד, התמונה ברורה. מודלים מושכים קהלים פוליטיים שונים, לומדים מהם, ונפרדים עוד יותר.

משוב משתמשים יכול אפוא להפוך מיון פוליטי בין משתמשים להבדלים יציבים בין המודלים שעליהם הם נשענים למידע פוליטי.

למה זה חשוב

בדמוקרטיה, ידע פוליטי משותף הוא תשתית לדיון ציבורי. אם קבוצות שונות מקבלות תשובות שיטתיות שונות ממודלים שונים, לא מדובר רק בטעם אישי. מדובר בפיצול של בסיס העובדות והמסגרות שממנו מתחילים לדבר.

המחקר מחבר שלושה מנגנונים שכבר מוכרים בנפרד: בחירת פלטפורמה לפי זהות, יישור ממודל לפי משוב, והשפעת הפער על בחירה חוזרת. יחד הם מתארים סיכון מבני, לא תקלה חד פעמית.

למפתחים ולרגולטורים יש כאן מסר מעשי. איסוף משוב “מהשטח” בלי בקרה על הרכב פוליטי של המשתמשים עלול להאיץ הפרדה בין מודלים. איחוד משוב בין קבוצות, לפחות בנושאים ציבוריים רגישים, עשוי למתן את הספירלה. השאלה אינה רק “האם המודל מאוזן היום”, אלא האם מנגנון הלמידה מהמשתמשים שומר על מרחב ידע משותף מחר.

קרדיט למאמר

Törnberg, Petter; Heseltine, Michael; Pagan, Nicolò; Bail, Christopher; Schimmel, Michelle; Barrie, Christopher (2026). “Political Sorting Can Drive AI Models Apart Through User Feedback.” arXiv:2609.28486. https://arxiv.org/abs/2609.28486

הערה: הסיכום נשען על התקציר והמטא-דאטה הרשמיים בarXiv. זה מחקר טרם ביקורת עמיתים (preprint). חלק מהניסויים נשענים על משוב סינתטי ועל הקשר אמריקאי של דמוקרטים ורפובליקנים, וההכללה למדינות אחרות דורשת זהירות.

איך בוחרים מי מייצג אותנו באסיפת אזרחים

אסיפות אזרחים (citizens’ assemblies) מיועדות להיות מיקרוקוסמוס של הציבור. המארגנים בוחרים אזרחים באקראי, ואז מאזנים את הפאנל לפי מכסות. השאלה אינה רק איך לאזן, אלא על אילו תכונות בכלל כדאי לאזן.

במאמר “Understanding Human Perception of Representation in Citizens’ Assemblies: An Empirical Study” (arXiv:2609.27368) בוחנים Yusuf Hakan Kalayci, Vasilis Varsamis, Nick Gill וEvi Micha מה באמת גורם לאנשים להרגיש שמישהו מייצג אותם באסיפה כזו.

פתיח

בפועל רוב האסיפות נשענות על שכבות דמוגרפיות: מגדר, גיל, אזור, השכלה ועוד. הספרות החישובית שיפרה את הוגנות הבחירה בתוך מכסות נתונות. אבל הבחירה של המכסות עצמן נשארה לעיתים קרובות הנחה ולא ממצא.

המחברים ערכו שני סקרי conjoint בבריטניה. המשתתפים דיווחו על תכונות עצמיות, ואז בחרו שוב ושוב מי מבין שני מועמדים היפותטיים ייצג אותם טוב יותר. סקר 1 כלל 1,151 משתתפים. סקר 2 כלל 576 משתתפים. ההקשרים היו אסיפה כללית ואסיפה בנושא אקלים.

1. יישור פוליטי ודאגה לנושא חזקים מדמוגרפיה

שבע תכונות דמוגרפיות וגיאוגרפיות הופיעו בכל הפרופילים: מגדר, קבוצת גיל, סוג אזור, אתניות, מוגבלות, השכלה ואזור בבריטניה. בנוסף הוצגו יישור פוליטי ומידת דאגה לאקלים, לפי משימה.

הממצא המרכזי חד. אי התאמה בדמוגרפיה מורידה מעט את הסיכוי לבחירה. אי התאמה ביישור פוליטי או בדאגה לאקלים מורידה הרבה יותר. באסיפה כללית, יישור פוליטי הוא הגורם החזק ביותר. באסיפת אקלים בלי מפלגה בתצוגה, דאגה לאקלים הופכת לגורם הדומיננטי. כששניהם מוצגים יחד, שניהם נשארים חשובים, ויישור פוליטי מקבל את האפקט השולי הגדול יותר.

2. מכסה פרוקסי לא מצילה ממד שהושמט

השאלה המעשית הבאה: אם משמיטים תכונה שהציבור כן רוצה לראות, האם מכסות דמוגרפיות ומפלגתיות “מצילות” אותה דרך מתאם?

החוקרים בדקו את זה על מאגר סקר 1. הם השוו דגימה אחידה, מכסות דמוגרפיות, מכסות דמוגרפיות פלוס מפלגה, ומכסות שכוללות גם דאגה לאקלים במפורש. המרחק בין התפלגות הדאגה בפאנל לבין המאגר נמדד בTV.

התוצאה ברורה. הוספת מכסת מפלגה כמעט לא שיפרה את ייצוג רמות הדאגה לאקלים לעומת דגימה אקראית. מכסה מפורשת על דאגה לאקלים כן הקטינה את השגיאה באופן משמעותי. מתאם בינוני בין מפלגה לדאגה לאקלים לא מספיק. אם הממד חשוב, צריך לייצג אותו במפורש.

3. אפשר ללמוד העדפות ייצוג, אבל לא עד הסוף

בחלק השלישי בדקו אם אפשר לחזות בחירות ייצוג מתוך הפרופילים. השוו כללי התאמה פשוטים, מטריקה משוקללת שנלמדת מהנתונים, ומודל utility שמותנה בפרופיל המשיב.

שני המודלים שנלמדו חזו בחירות של משיבים שלא נכללו באימון ברמת דיוק סבירה. יש מבנה שניתן להכללה בשיפוטי ייצוג. אף אחד מהם לא תופס את השיפוט במלואו. המודלים מתאימים יותר כאבחון: איך פרופילים נראים בעיני הציבור, ולא כמטרת בחירה יחידה במקום מכסות הוגנות והכלה.

למה זה חשוב

אסיפות אזרחים הן כלי דמוקרטי מתרחב. הן מבטיחות ייצוג דרך דמיון לציבור, לא דרך בחירות. אם הדמיון מוגדר רק בממדים שנוחים למדידה, אפשר לקבל פאנל “מאוזן” שמרגיש לא מייצג למי שחשוב לו יישור ערכי או עמדה בנושא.

המחקר נותן הנחיה עיצובית זהירה. דמוגרפיה חשובה, אבל לא מספיקה. כדאי לשקול גם יישור פוליטי וממדים ספציפיים לנושא. לא להניח שפרוקסי מתואם יגן על ממד שהושמט. מודלים חזויים יכולים לעזור לבדוק פאנלים, אבל לא להחליף אחריות על הכלה והוגנות.

בישראל ובעולם, כשמדברים על מכונות מיון, על מיני-פאבליקסים, או על עזרים אלגוריתמיים לבחירת משתתפים, השאלה הראשונה צריכה להיות: אילו תכונות באמת מגדירות ייצוג בעיני האזרחים, ולא רק אילו תכונות קל לכלול בטבלה.

קרדיט למאמר

Kalayci, Yusuf Hakan; Varsamis, Vasilis; Gill, Nick; Micha, Evi (2026). “Understanding Human Perception of Representation in Citizens’ Assemblies: An Empirical Study.” arXiv:2609.27368. https://arxiv.org/abs/2609.27368

הערה: הסיכום נשען על הטקסט המלא בarXiv. זה מחקר טרם ביקורת עמיתים (preprint). המדגם בריטי, וההכללה למדינות אחרות דורשת זהירות.

מי מאמת את המאמת? פער ראיות בארנק הזהות הדיגיטלית האירופי

ארנק הזהות הדיגיטלית האירופי (EUDI Wallet) נבנה סביב אמון בארנק עצמו: מפתחות, רכיבים מאושרים, חשיפה מוגבלת של נתונים. אבל העסקה לא נגמרת שם. שירות פועל רק אחרי שצד סומך (relying party) מקבל הצגה, מאמת אותה, ומסתמך על תכונות שנבחרו.

במאמר “Who Assures the Verifier? An Executable Assurance-Locus Audit of the European Digital Identity Wallet” (arXiv:2609.26220) שואל Anton Sokolov שאלה צרה ומעשית. איזה ראיות, שניתן להריץ מחדש באופן עצמאי, מחברות גרסת מאמת ספציפית לרישום, להצגה, ולהחלטת ההסתמכות באותה עסקה?

פתיח

הטיעון אינו שצדדים סומכים אינם מוסדרים. תקנת eIDAS המעודכנת, מסמכי היישום, מסגרת הארכיטקטורה ARF 3.0.0, ומסמכי ETSI כבר מטילים חובות רישום ואימות. מסגרת ההתאמה הפונקציונלית (FCAF) מתחילה בבדיקת הארנק, וצופה בעתיד גם מערכות תחת בדיקה בצד הסומך.

הבעיה, לפי המחבר, היא תפר בראיות. יש נורמות. יש מטאדאטה של עסקה. עדיין חסר לעיתים אובייקט קטן ונייד שמראה איזו גרסת מאמת ומדיניות רצה, מול איזה מקרה שלילי קפוא, עם קוד סיבה יציב, ואיך התכונות שהתקבלו הגיעו להחלטת השירות.

1. ארבעה מוקדי ביטחון

המאמר מפריד בין ארבעה מוקדים. L1 הוא פתרון הארנק וההסמכה שלו. L2 הוא ממשל הצד הסומך: רישום, תעודות גישה, הצהרות שירות ומטרה. L3 הוא מימוש המאמת עצמו, הקוד והמדיניות שבודקים חתימה, קשירה, קהל, nonce וסטטוס. L4 היא החלטת ההסתמכות באפליקציה: קבלה, דחייה או התניה של שירות על בסיס התכונות.

כשל נפוץ אינו בהכרח באג בתוך מוקד אחד. הוא שרשרת ראיות שאינה מתחברת. רישום תקין במוקד L2 לא מוכיח קריפטוגרפיה תקינה במוקד L3. אימות מוצלח במוקד L3 לא מוכיח שבמוקד L4 השתמשו רק בתכונות שאושרו.

2. פרופיל של 17 כללים וקבלת ראיות

המחבר בנה פרופיל מחקרי עם 17 כללי סירוב מסודרים, ועם קוד קבלה אחד. הכללים מכסים שלב בקשה, שלב הצגה, ושלב הסתמכות. למשל: צד סומך לא רשום, חריגה ממאפיינים רשומים, כשל בקשירת מחזיק, אי התאמת קהל או nonce, ושימוש במורד הזרם שחורג מהתכונות שאושרו.

לכל הרצה נוצרת קבלת ראיות בפורמט JSON. היא קושרת זהות רישום, גרסאות מאמת ומדיניות, גיבוב קלט, פסק דין וקודי סיבה יציבים. כך אפשר להבדיל בין “הספרייה יודעת לבדוק” לבין “הבילד והמדיניות האלה הפיקו את הפסק הזה לקלט הקפוא הזה”.

3. 108 הרצות בלי מחלוקת, וביקורת קוד מוגבלת

נוצרו 36 עסקאות סינתטיות: שש תקינות ו30 פסולות. שלושה מימושים שונים, בפייתון, בJavaScript וב jq, הריצו את אותן עסקאות. סך הכול 108 מקרים. לא היו אי התאמות מול האורקל, ולא היו מחלוקות בין הנתיבים.

התוצאה מראה שהמודל ישים ודטרמיניסטי בניסוי. היא לא מוכיחה התאמה למוצר אמיתי או נכונות פרוטוקול מלאה. בנוסף נבדקו שלושה מאגרים ציבוריים של מאמתים. נמצאו מנגנוני אימות פרוטוקול משמעותיים, אבל לא אובייקט ראיות אחד שמחבר רישום ומטרה, גרסת מאמת מדויקת, פסק העסקה, ושימוש בתכונות במורד הזרם.

למה זה חשוב

זהות דיגיטלית היא תשתית דמוקרטית. אזרחים נותנים אמון לא רק בארנק, אלא גם בשירותים שמסתמכים עליו: רשויות, בנקים, פלטפורמות ציבוריות. אם ההסמכה מתמקדת בארנק בזמן שהמאמת והחלטת השירות נשארים בלתי ניתנים לשחזור, נשאר פער אחריות.

ההצעה במאמר זהירה. היא לא דורשת תוכנית הסמכה כבדה חדשה. היא מציעה יחידת ראיות מסוג “צד סומך כמערכת תחת בדיקה”, שמשלימה הסמכת ארנק, רישום ופיקוח. קוד סיבה יציב חשוב כאן: “לא תקין” בלי נימוק לא מאפשר השוואה בין גרסאות, בין מימושים ובין זמן.

לרגולטורים, לרוכשים ציבוריים ולמפקחים יש כאן שפה מדויקת יותר. אפשר לשאול לא רק אם הארנק מאושר, אלא גם האם ניתן להריץ מחדש את התנהגות המאמת והמדיניות מול מקרה קפוא, ולקשור אותה למטרה שנרשמה ולהחלטה שבאה אחריה.

קרדיט למאמר

Sokolov, Anton (2026). “Who Assures the Verifier? An Executable Assurance-Locus Audit of the European Digital Identity Wallet.” arXiv:2609.26220. https://arxiv.org/abs/2609.26220

הערה: הסיכום נשען על הטקסט המלא בarXiv. זה מחקר טרם ביקורת עמיתים (preprint). סקר המומחים שנרשם מראש עדיין לא נפתח לגיוס, ולכן אין כאן ממצאים מסקר.