הונאות באמצעות בינה מלאכותית

כתב: רן לוי

כשישבתי להכין את התחקיר לפרק הזה חיפשתי סיפורים טובים על הונאות שמתבצעות באמצעות בינה מלאכותית. בשנתיים־שלוש האחרונות שומעים פה ושם על כל מיני מקרים, ורציתי למצוא סיפור אחד לפתוח איתו.

נתקלתי בידיעה שהתפרסמה בעיתונות איפשהו בתחילת השנה, בתחילת 2025, על עובדת בסניף ההונג־קונגי של חברה בריטית בינלאומית, שמקבלת מייל מה־CFO של החברה, סמנכ״ל הכספים, שמזמין אותה לשיחת זום. היא נכנסת לשיחה, רואה שם את ה־CFO ועוד כמה “עובדים” של החברה. מה שהיא לא יודעת זה שכולם — ה־CFO וגם שאר המשתתפים — הם אווטרים שנוצרו בבינה מלאכותית, בגרסה זו או אחרת.

את הפרטים המדויקים אנחנו לא יודעים, כי החברה, כמו כמעט כל תאגיד שנופל קורבן להונאה, לא ממהרת לשתף את הציבור בכל מה שקרה מאחורי הקלעים. לפי השמועות, רוב המשתתפים בזום הופיעו בלי מצלמה, ורק הקול שלהם היה קול מסונתז שנוצר באמצעות AI. מי שכן הופיע בווידאו, כנראה הוקלט מראש, ורק האודיו הוזרם בשידור חי, גם הוא מסונתז כך שיישמע כמו הקול של ה־CFO או מי שאמור היה להיות שם. בקיצור, הצליחו להטעות אותה: במהלך השיחה היא קיבלה ממנו הנחיות להעביר 25 מיליון דולר מחשבון של החברה לחשבון אחר. רק כמה ימים לאחר מכן היא התחילה לחשוד שמשהו לא תקין, דיווחה על זה – ואז התברר שמדובר בהונאה.

אבל כאמור, אין הרבה מידע, בטח לא משהו רשמי שהחברה עצמה מספרת, אז אני ממשיך לחפש באינטרנט, מנסה לדלות עוד כתבות, אולי תחקירים עיתונאיים שנעשו סביב המקרה. בין היתר, החיפושים הובילו אותי ל-Reddit. יש שם אינסוף סאב־רדיטים לכל תחום אפשרי, ובין השאר גם כאלה שעוסקים באבטחת מידע וכדומה. גם שם לא מצאתי מידע ממשי שיכול לעזור לי לעבות את הסיפור הזה, אבל נתקלתי בשרשור אחד שהיה נורא מעניין: אנשים התווכחו שם האם הם היו נופלים בהונאה הזאת. כלומר, אם הם היו מקבלים הזמנה, כביכול מה־CFO,לשיחת זום – האם הם היו שמים לב שכולם שם הם דמויות שנוצרו ב־AI, והם היחידים שלא. הקונצנזוס של רוב המגיבים היה שהם כנראה *לא* היו נופלים בזה, כי לטענתם הטכנולוגיה עדיין לא מספיק מפותחת: אפשר עדיין לזהות שמשהו לא לגמרי מושלם, או שהווידאו המיוצר לא תמיד תואם למה שמתרחש בשיחה בזמן אמת. אני מודה שגם אני חושב שלא הייתי נופל בתרמית הספציפית הזאת – אולי זו קצת אמירה אליטיסטית, אבל זו התחושה. כמובן מיד צצות גם תיאוריות קונספירציה: אולי אותה עובדת בכלל הייתה חלק מהנוכלים, ואולי מדובר באיזה אינסייד־ג’וב מתוחכם.

אבל אז אחת ההודעות תפסה לי את העין. גולש אחד, שהזדהה כעובד בתחום ה־IT, כתב שהוא עצמו אמנם לא היה נופל בהונאה מהסוג שתיארתי, אבל כן הייתה הונאה אחת שכן הוא נפל בה, או לפחות "סוג של" נפל בה.

הוא מספר שבסביבות סוף 2024 הייתה טיסת ניסוי של המשגר החדש של SpaceX, ‏Starship. זו הייתה טיסת ניסוי די קריטית, לקונספט חדש שהם מנסים: להחזיר את החללית חזרה למגדל השיגור, כשהמגדל תופס אותה באמצעות זרועות. מי שמכיר את העולם הזה יודע עד כמה זה מרשים לצפייה. זו הייתה הפעם הראשונה שאמורים היו לנסות את זה, ולכן השיגור הזה עורר עניין מיוחד.

ספייס-X תמיד משדרים את השיגורים שלהם בלייב, אז הוא נכנס ליוטיוב, חיפש "SpaceX", נכנס לערוץ הרשמי שלהם, ורואה את השידור החי – ההכנות לשיגור. כמו שקורה לא מעט בשיגורים כאלה, פתאום מתגלה תקלה טכנית, דוחים את השיגור, ובינתיים אילון מאסק, הבעלים המפורסם של SpaceX, עולה לבמה כדי לדבר, כנראה גם כדי להעביר את הזמן. הוא מתחיל לדבר על SpaceX – למה זה חשוב, ומה החזון, וכל הדברים הרגילים – ואז באמצע עובר לדבר על למה קריפטו זה חשוב, למה מטבעות קריפטוגרפיים הם העתיד של הכלכלה, ואיך הוא הקים איזשהו קונסורציום יחד עם כמה חברות גדולות כדי לקדם את התחום. ואז הוא מציע לצופים, שרואים אותו עכשיו בלייב, לשלוח ביטקוין אחד לאיזושהי כתובת מסוימת, והוא "בתוך שעה" יחזיר להם שני ביטקוינים.

אותו בחור מה־IT כותב שזו בדיוק הנקודה שבה נדלקה לו הנורה האדומה – כי זו הונאת קריפטו סטנדרטית. כל מי שמכיר קצת את עולם אבטחת המידע מזהה את התרמית הזו מיד. ואז הוא קולט שהוא כבר עשר דקות יושב וצופה בעצם באילון מאסק *מזויף* – זו לא הופעה אמיתית. כנראה לקחו הרצאה אמיתית שלו, שינו באמצעות AI את תנועות השפתיים כך שיסתנכרנו עם טקסט אחר, והקול עצמו היה קול מג׳ונרט, שבו מאסק “מסביר” על הונאת הקריפטו הזו. הוא כותב: ישבתי עשר דקות מול AI ולא שמתי לב. האמת היא שגם אני, כשראיתי אחר כך את ההקלטה שחיפשתי במיוחד, לא חושב שהייתי מצליח לעלות על זה. כנראה שלא הייתי נופל בהעברה של הביטקוין, אבל לא הייתי מנחש שמדובר ב-AI. זה נותן קצת פרופורציות, וקצת ענווה: אתה בטוח שאתה יודע לזהות זיופים, אבל כנראה שיש הונאות שיעקפו גם את הביטחון הזה.

מתברר שזו הונאה די מוכרת: אין בכלל ערוץ רשמי של SpaceX ביוטיוב, וכשמחפשים "SpaceX" יוטיוב פשוט מקפיצה למעלה את הערוץ המתחזה. ולערוץ המתחזה הזה היו כמעט רבע מיליון מנויים, ובשידור החי הספציפי הזה צפו יותר מ־120 אלף אנשים בו־זמנית – יחד איתו, אותו מגיב שישב וצפה בזה בלייב. קל לנחש שלא מעט מהצופים נפלו בהונאה הזאת, ובטח שלחו בדיוק את מה שהתבקשו לשלוח.

בינה מלאכותית בהונאות

אז למה אני בכלל מספר לכם את כל הסיפור הזה? כי הנושא של הונאות מבוססות בינה מלאכותית תופס תאוצה בקצב מטורף בשנתיים־שלוש האחרונות. סטטיסטיקות שמתפרסמות בדוחות שנתיים שונות מדברות על עלייה של בערך 450 אחוז רק בין אמצע 2024 לאמצע 2025, כש־AI נכנס כמעט לכל סוג של הונאה שאנחנו מכירים.

המקומות שבהם רואים הכי הרבה את החדירה של הונאות AI הם כמובן כל מה שקשור לדיפ־פייקים באינטרנט, כמו הסיפור הזה של אילון מאסק, אבל יש עוד הרבה סוגים. למשל פישינג – אותן הודעות אימייל שמטרתן לגרום לך ללחוץ על קישור מסוים או להוריד קובץ מסוים. גם שם, לפי הסטטיסטיקה, בערך 80 אחוזים מאימיילי הפישינג נוצרים על ידי מודלי שפה.

עוד תחום שבו אנחנו רואים עלייה הוא סוג של הונאה שתמיד הייתה קיימת, אבל התחזקה משמעותית בזכות ה-AI – מה שנקרא *זהות סינתטית* (Synthetic Identity). זו הונאה שבה לנוכלים יש, למשל, מספר תעודת זהות אמריקאי (Social Security Number) או רישיון נהיגה אמיתי של אדם מסוים, והם רוצים להשתמש בו כדי לפתוח חשבון בנק, לרכוש פוליסת ביטוח חיים וכדומה. הם משתמשים בבינה מלאכותית כדי “לעבות” את הזהות הזו באמצעים סינתטיים: יצירה של מסמכים מזויפים על אותו אדם, פתיחת חשבונות ברשתות חברתיות, פרסום פוסטים בשמו וכל מיני פעולות דומות – את כל זה ה-AI עושה בשבילם. ברגע שהם מצליחים להירשם לשירות או לפתוח חשבון, הם לוקחים הלוואה ונעלמים; או שהם עושים ביטוח חיים, “ממיתים” את הפרסונה הווירטואלית וגובים את כספי הביטוח, וכדומה. לפי נתונים שממשלת ארצות הברית מפרסמת, זו כבר הונאה שמגלגלת בערך 30 מיליארד דולר בשנה, פלוס־מינוס.

אז השורה התחתונה היא שהונאות מבוססות AI נמצאות בזינוק מטורף בשנים האחרונות – בזה אין שום ספק. זה רק ילך ויהיה יותר דומיננטי, כי הכלים, כפי שכולכם מבינים, נעשים זולים יותר, זמינים יותר, נוחים יותר לשימוש, ובעיקר חזקים יותר מבחינת ביצועים. מכאן נובעת השאלה שאני רוצה לעסוק בה בשלושת רבעי השעה הקרובה: איך מתמודדים עם ההונאות האלה? מה אפשר לעשות כדי להתמודד עם הבעיה שנוצרת ממש מול העיניים שלנו?

דגשים

אני רוצה לפתוח משני דגשים חשובים:

הראשון הוא שבקונטקסט של השיחה הזו, של הפרק הזה, אני מתייחס לבינה מלאכותית כאל *כלי* בידיים של הנוכלים האנושיים. יש את התרחיש הדמיוני שבו בינה מלאכותית מתחילה לפעול “מיוזמתה”, אתם יודעים – תרחיש בסגנון "שליחות קטלנית", סקיינט וכאלה. כרגע זה עדיין מדע בדיוני נטו. כל מערכות ה-AI שאנחנו מכירים היום הן כלים בידיים של המפעילים האנושיים שלהן. לבינה המלאכותית אין כרגע רצון משלה להונות אותנו; בסוף, מי שמושך בחוטים מאחורה הם בני אדם.

הדבר השני הוא שבתור אדם שמסקר את עולם אבטחת המידע כבר כמעט חמש־עשרה שנה, מאוד קל לראות שחברות אבטחת מידע משתמשות בפחד כאמצעי שיווק. זו מגמה מאוד ברורה: הן רוצות שנקנה את המוצרים שלהן, הן רוצות יותר תהודה תקשורתית, ולכן יש נטייה ברורה לנפח כל איום חדש, ולהפוך אותו למעין “אוי ואבוי, מה יהיה, מה יהיה”. פחד, כנראה, מוכר טוב. בגלל זה אני נוטה להתייחס להרבה טענות על טכנולוגיה חדשה שאמורה “לעשות דיסרפשן עמוק” עם לא מעט גרגירי מלח. ספציפית בכל מה שקשור להונאות מבוססות בינה מלאכותית – כמו שכבר אמרנו – אין ספק שהתחום הזה הולך ומתחזק, ונראה בהמשך איך זה ישפיע. אבל אני יוצא מנקודת הנחה שנצליח להתמודד עם זה. זו לא שאלה של *האם* נצליח להסתדר עם ההונאות האלה, אלא של *איך* נפתור את הבעיה שהן יוצרות. הדינמיקה בעולם אבטחת המידע די ברורה: מופיע איום חדש ולא מוכר, יש תקופה מסוימת שבה חברות האבטחה מחפשות פתרונות, עד שנמצא פתרון סביר וחוזרים לשיווי משקל. בשיווי המשקל הזה רוב האנשים, רוב הזמן, מוגנים ולא נפגעים, ורק בשוליים יש מי שנופל קורבן לנזקים כאלה ואחרים. זו נקודת המוצא שלי: אנחנו נתגבר על הבעיה הזו. השאלה היא מה בדיוק הבעיה, ומה צריך להשתנות בעולם אבטחת המידע שלנו כדי לפתור אותה.

תוכן פייק

אז נתחיל מלעשות קצת סדר, וננסה לרדת לעומק: באילו סוגי הונאות הבינה המלאכותית כבר פוגשת אותנו, ואיפה היא נכנסת בצורה הכי דרמטית ועם ההשפעה הכי גדולה.

המקום הראשון הוא כל הנושא של תוכן פייק באינטרנט. כשאני אומר "תוכן פייק", אני כולל תחת המטרייה הזו פחות או יותר כל סוג תוכן מזויף שאתם מכירים: תמונות, סרטונים, בוטים שמתחזים לפרופילים אמיתיים, ומה לא. נדמה לי שכל מי שמבלה ברשת כבר מבין שהיום כמעט בלתי־אפשרי להבחין בין תוכן מג׳ונרט לתוכן אמיתי – בין אם זה וידאו, תמונה, טקסט או כל פורמט אחר.

אני, למשל, לפני כמה חודשים נתקלתי בטוויטר בסרטון של חזירים קופצים על טרמפולינה בחיפה. זה היה נראה כמו צילום ממצלמת לילה: רואים את החזירים מטפסים על הטרמפולינה ומתחילים לקפוץ. אני חיפאי במקור, ומכיר מצוין את בעיית החזירים בעיר – כל חיפאי יודע על מה מדובר – ואמרתי לעצמי: פאק, החזירים האלה כבר איבדו כל בושה. תאכלו מהפחים, סבבה, אבל טרמפולינות?! אני זוכר שהראיתי את הסרטון לבת הזוג שלי, כולי נלהב: "תראי את החזירים האלה בחיפה!" והיא ישר אומרת לי: "ברור לך שזה AI?..." ואני כזה: "כן, בטח, ברור שידעתי…" – אבל האמת? נפלתי לגמרי. אחר כך קלטתי שיש גם ארנבים קופצים על טרמפולינות, ועוד כל מיני חיות – זה היה פשוט מם שרץ ברשת. הנקודה היא שכולם נופלים בזה מתישהו. גם אני.

עכשיו, התוכן המג׳ונרט הזה הולך ונעשה משמעותי יותר, והוא מחלחל לכל מקום. הוא רלוונטי פחות או יותר לכל סוגי ההונאות המוכרות לנו – לא מדובר בהונאות חדשות לגמרי, אלא באותן תרמיות ישנות, שפשוט משתמשות היום בבינה מלאכותית בצורה הרבה יותר מסיבית. אם זה סיפורי קריפטו כמו זה שתיארנו, הונאות כלכליות אחרות, נוכלות רומנטית, תרמיות בסגנון "הנסיך הניגרי" למי שמכיר – שבהן מבקשים שתשלח "סכום קטן" ומבטיחים לך אוצר קבור איפשהו בניגריה – או קמפיינים של דיסאינפורמציה, כמו אלה שהרוסים מפעילים נגד ארצות הברית כבר שנים, או מה שהאיראנים עושים לנו, ואני מניח שגם מה שאנחנו עושים להם בחזרה. כל זה כבר קיים, ופשוט עולה מדרגה, על סטרואידים, בזכות הבינה המלאכותית.

וכאמור, זו לא בעיה חדשה – וכבר היום פלטפורמות המדיה החברתית לא באמת מסתדרות איתה. אם נשאל את עצמנו האם הפתרון יגיע מפייסבוק, טוויטר ושאר החברות שיצליחו איכשהו להתמודד עם ההונאות האלה – התשובה היא שהן כבר עכשיו לא מסתדרות.

דוגמה מצוינת לזה הייתה לפני כמה חודשים, כששאול אמסטרדמסקי, העיתונאי המוכר מכאן 11, סיפר שיום אחד – נדמה לי שזה היה סביב מאי 2025 – הוא מתחיל לקבל טלפונים ממכרים: "שאול, התחלת לקדם מניות של Nvidia?" הוא עונה, כמובן שלא. הוא עיתונאי, הוא לא עוסק בקידום מניות. אז הם שולחים לו צילומי מסך: מודעות בפייסבוק עם התמונה שלו, שבהן הוא "ממליץ" לאנשים לקנות מניות של אנבידיה ולהצטרף לקבוצות וואטסאפ של השקעות. הוא מבין מיד שמדובר בתרמית שמשתמשת בדמות שלו, וגם בדמויות של עוד אנשים מוכרים בתחום.

עכשיו, לשאול אמסטרדמסקי יש את כל הקשרים שבעולם – כולם מכירים אותו, והוא מכיר את כולם – אז מה הוא עושה? מוציא את הטלפון, ושולח הודעת וואטסאפ למנכ"לית פייסבוק ישראל. לא צריך "להכיר מישהו שמכיר", יש לו את המספר. היא עונה לו "אני על זה", ובאמת תוך זמן קצר פייסבוק מורידה חלק מהמודעות המזויפות. אבל היא לא מורידה את *כל* המודעות, ומה שכן נמחק – חוזר שוב ושוב. את הפרופילים המזויפים שהפיצו את המודעות האלה פייסבוק אפילו לא סגרה, כי "הם לא מפרים את תנאי השימוש". ברור שמדובר באלגוריתם שלא מבין כלום מהחיים שלו.

ואם פא***נג שאול אמסטרדמסקי, שיש לו גישה ישירה לפא***נג מנכ"לית פייסבוק לא מצליח לקבל פתרון אמיתי לבעיה הזו – ברור שלרוב האנשים אין שום סיכוי. הפלטפורמות לא יודעות להתמודד עם הונאות כאלה כבר עכשיו. כשהבינה המלאכותית נכנסת לתמונה, והסקייל והתחכום רק עולים, אני לא חושב שאפשר לסמוך עליהן בכלל.

התוצאה של ההצפה הזו של הרשתות בכל כך הרבה תוכן מפוברק היא לא רק הנזק המיידי – כסף שנעלם בהונאות, השפעה על תוצאות בחירות, שחיקה של הדמוקרטיה ודברים מהסוג הזה – אלא קודם כול השחיקה של האמון הציבורי. יש מחקרים די ברורים במדעי החברה שמראים שכאשר אדם מוצף בתוכן מזויף, התגובה הטבעית שלו היא פשוט להפסיק להאמין להכל. וזה בעייתי, כי עדיין קיימים מקורות מידע שאמורים להיות אמינים – כלי תקשורת שנועדו לספק לנו מידע מהימן על סקנדלים פוליטיים, על פרשיות ציבוריות וכדומה. אבל כשכל המרחב המדיה מלא בתכני פייק, אנחנו מפסיקים להאמין לכולם, גם לאותם גופי תקשורת. זו כבר בעיה עמוקה יותר, כי אלה כלבי השמירה היחידים שיש לנו, הציבור, מול גופים חזקים ורבי־עוצמה. כשאנחנו מאבדים את היכולת להאמין גם להם, אנחנו מאבדים משהו מאוד מהותי ברמה הרחבה יותר.

תקיפות סייבר

אז זה מקום אחד שבו בינה מלאכותית נכנסת לתמונה. התחום הנוסף הוא תקיפות סייבר נגד ארגונים. שוב – לא משהו חדש. המגמה הזו של תקיפות סייבר על ארגונים התחילה איפשהו באמצע העשור הראשון של שנות האלפיים, עם לא מעט כנופיות, בעיקר ממזרח אירופה, רוסיה וכדומה, ומאז היא רק התחזקה. היום כולנו כבר מכירים את זה: כופרות, תקיפות שמצפינות מידע, גונבות מידע, משתקות מערכות – כל הדברים האלה.

בינה מלאכותית נכנסת גם לעולם הזה. איך זה נראה בפועל? דוגמה אחת הגיעה מריאיון שעשיתי באותו פודקאסט על אבטחת מידע, Malicious Life. באחת ההזדמנויות ריאיינתי חוקר ישראלי בשם גיל גקר, מחברה בשם Irregular, והוא סיפר על ניסוי קטן שהם עשו כדי לבדוק עד כמה מודלי שפה יכולים לסייע לתוקפים.

הם רצו ליצור תוכנה זדונית שמשתלטת על מחשבים בתוך ארגון, מתקשרת עם שרת מרוחק ומעבירה אליו מידע. גיל ישב עם ChatGPT, ובשלב הראשון יצר איתו מייל פישינג – כתוב באנגלית משובחת, בלי שגיאות כתיב ובלי “Hebrewisems” המצחיקים שאנחנו רגילים לראות לפעמים. אחר כך הוא ישב איתו ויצר קוד לתוכנה זדונית ספציפית, כזאת שאפשר להטמין בתוך מסמך אקסל סטנדרטי: קוד באיכות סבירה, כזה שיעשה את העבודה, ובנוסף גם קוד "מעורפל" – Obfuscated – שקשה מאוד לבני אדם לקרוא, אבל המחשב מריץ בלי בעיה, כך שמי שמסתכל עליו לא מיד מבין שמדובר בתוכנה זדונית. אחרי זה הוא השתמש בכלי נוסף כדי ליצור את הקוד של השרת המרוחק, וככה בעצם סגר את כל שרשרת התקיפה.

מה למדנו מהניסוי הזה? שני דברים מרכזיים.

הראשון: עדיין אי אפשר לפתח תקיפות סייבר כאלה באמצעות בינה מלאכותית בסגנון "וייב קודינג" מוחלט – להגיד למערכת "תכתוב לי תוכנת תקיפה" ולקבל פתרון מוכן בלי להבין כלום. גיל היה צריך להנחות את המערכת בצורה מדויקת, לדעת מה לבקש, ולהבין היטב איך תקיפות סייבר עובדות. כלומר, עדיין דרוש ידע בסיסי וטוב בעולם התקיפה.

הדבר השני, והוא בעצם התרומה הגדולה של הבינה המלאכותית, הוא הורדת החסמים – כפול. ברמה הראשונה, בתחום הפישינג: המחסום של כתיבת מייל שנראה אמין וטבעי נעלם. אם אתה תוקף ממזרח אירופה שרוצה לשלוח מייל באנגלית שנשמע כמו דובר ילידי – זה תמיד היה אתגר. עכשיו ה-AI פותר את זה בלחיצת כפתור. ברמה השנייה, במישור הטכנולוגי: התוקף עדיין צריך להבין מה הוא רוצה להשיג, אבל אם, למשל, הוא מומחה ל-Windows וצריך פתאום לתקוף מערכת לינוקס, או שהוא חזק בפייתון וצריך עכשיו לעבוד בג׳אווהסקריפט – בעבר זה היה מסבך לו את החיים. פה הבינה המלאכותית מורידה את החסם בצורה משמעותית, ומגשרת על פערי הידע האלה. ולצד כל זה יש גם את עניין הזמן. כל מה שתיאר גיל בריאיון – כל שרשרת התקיפה – התרחש באחר הצהריים אחד. בעבר, פיתוח נוזקה מהסוג הזה היה יכול לקחת שבועות לפחות.

אז השורה התחתונה: בינה מלאכותית שנכנסת לעולם תקיפות הסייבר לא מביאה כרגע סוגים *חדשים* של תקיפות או טכנולוגיה שלא ראינו מעולם. אלה עדיין אותן תקיפות מוכרות – אבל עם הורדה דרמטית של החסמים. המשמעות היא שכל תוקף יכול לעשות הרבה יותר נזק, גם אם רמת הידע שלו מוגבלת יחסית, וזה קורה הרבה יותר מהר. אפשר להריץ הרבה יותר איטרציות, לתקוף הרבה יותר ארגונים, והרבה יותר אנשים.

עוד תחום שבו בינה מלאכותית נכנסת חזק הוא תחום המודיעין. חלק אינטגרלי מרוב תקיפות הסייבר הוא מה שנקרא הנדסה חברתית (Social Engineering) – שם כולל להמון טכניקות פסיכולוגיות שמפעילים על הקורבן כדי לגרום לו לעשות מה שרוצים: לפתוח קובץ, ללחוץ על קישור, למסור מידע סודי וכדומה. משתמשים שם בכל מיני טריקים פסיכולוגיים כדי לעקוף שיקול דעת בריא.

היום התוקפים כבר מסתמכים על מידע שמגיע מהרשתות החברתיות כדי לאסוף מודיעין על הקורבנות שלהם – מידע שמאפשר להם לבצע הנדסה חברתית בצורה יותר מדויקת. עכשיו תדמיינו מה קורה כשמכניסים לזה בינה מלאכותית: אפשר לעבור אוטומטית על כל פרופילי הלינקדאין של עובדי ארגון מסוים, למפות במהירות את הקשרים ביניהם, להבין מה כל אחד עושה, מי כפוף למי, באיזו מחלקה הוא עובד, מה תחומי האחריות שלו, ואפילו אולי להסיק מי נראה תחת לחץ, מי בחופשה ועוד פרטים שאפשר לנצל לצורך תקיפה. הבינה המלאכותית הופכת את כל תהליך איסוף המודיעין להרבה יותר יעיל ומהיר. זה עוד אספקט, נוסף על מה שתיארתי קודם, שבו היא צפויה לסייע מאוד לתוקפים בעולם הסייבר.

מיקרו-הונאות

והאיום השלישי הוא איום שכרגע כמעט לא קיים בפועל, ולכן עדיין אין לו שם מקובל. אני מאמץ כאן שם שנתקלתי בו: *מיקרו־הונאות*. מה הכוונה "מיקרו־הונאות"?

היום, כשאנחנו גולשים באינטרנט ונתקלים בהונאה – למשל הונאת קריפטו, או הונאה כמו זו שנעשתה על גבו של שאול אמסטרדמסקי – זו בדרך כלל לא הונאה שמופנית *אלינו אישית*. התוקפים פורשים רשת כמה שיותר רחבה, בתקווה שכאשר יגיעו למיליון אנשים, אחוז קטן מתוך המיליון – אלה שפחות מתוחכמים, פחות מכירים, או סתם היו לא מרוכזים באותו רגע – יפלו בפח. אחת ההונאות המפורסמות שנחשפו בחודשים האחרונים, כנראה מצד גורמים רוסים, גם בישראל וגם במדינות אחרות, עובדת בדיוק ככה: הם מעלים תמונות מג׳ונרטות שמכוונות לרגש. למשל – חייל צה״ל בעזה מחזיק תינוק, או סצנה אחרת שמפעילה רגש פטריוטי. בדרך כלל אפשר לראות די בקלות שמדובר בתמונה מג׳ונרטת, וזה נעשה בכוונה. המטרה היא למשוך את האנשים שלא מספיק מתוחכמים כדי לזהות אפילו זיוף יחסית גס. מדהים לראות אלפי תגובות של אנשים שלא מבינים שהם מסתכלים על תמונה שנוצרה על ידי AI. את אותם אנשים "מלקטים" הלאה לשלב הבא של ההונאה: מצרפים אותם לקבוצות שונות, שבהתחלה הן נראות כמו קבוצות פטריוטיות לכל דבר, ואחר כך מתחילים להכניס בהן מסרים נגד הדמוקרטיה, מסרים מפלגים וכדומה. הרוסים הפעילו שיטה כזו ברומניה, עשו משהו דומה גם בישראל, וככל הנראה גם במקומות נוספים.

השורה התחתונה היא שרוב ההונאות האלה *לא* מכוונות אל כל אחד באופן אישי, אלא נועדו "לתפוס" את מי שפחות מתוחכם. אבל עכשיו, כשבינה מלאכותית נכנסת לתמונה, המצב מתחיל להשתנות. בעזרתה, אפשר להוריד בצורה דרמטית את העלות שהתוקף משלם כדי לתקוף *אדם בודד*.

מה זה אומר בפועל? כדי לכוון הונאה לאדם אחד ספציפי, צריך להשקיע לא מעט משאבים: קודם כול לאסוף עליו מידע – מי הוא, מה הוא, מה החולשות שלו – ואז לבנות סביב זה את ההונאה עצמה: לתקשר איתו, לנהל איתו שיחות, לבנות סיפור. זה לוקח הרבה זמן ומאמץ מהתוקף, ותמיד יש סיכוי שבסוף אותו אדם דווקא כן יהיה מספיק מתוחכם, יזהה שמדובר בהונאה, יחסום אותך – וכל ההשקעה תרד לטמיון. עכשיו הבינה המלאכותית משנה את המשוואה הזו, כי היא מאפשרת לעשות את כל הדברים האלה בקלות יחסית.

מקרה מהעולם האמיתי, מתחילת השנה: אישה צרפתייה בת 53, ששמה פורסם רק כ״אן״, מקבלת פתאום הודעה מבראד פיט. תודו – כשאת מקבלת הודעה מבראד פיט, את פותחת. קשה להתעלם מזה. הוא מתחיל להתכתב איתה, "בראד פיט", ומספר שהוא מסכן ועצוב, כי הוא נפרד מאנג׳לינה ג׳ולי, מפסיד המון כסף בגירושים, וכאילו שזה לא מספיק – הוא גם חולה בסרטן ומאושפז בבית חולים. הוא שולח לה תמונות סלפי שלו, שוכב כביכול במיטת חוליו, מחובר לצינורות ולמכשירים. הם מתחילים לדבר, והיא מתאהבת בו. הוא "מתאהב" בה. סיפור אהבה מרגש.

היא משתכנעת לעזור לו, כי הוא מסכן ובקושי שורד, ו״אנג׳לינה״ כביכול לקחה לו את כל הכסף. היא מתחילה לשלוח לו כסף, ובסופו של דבר מעבירה כמעט מיליון דולר. התמונות, כמובן, היו תמונות שנוצרו ב-AI, ומי שדיבר איתה – אנחנו לא יודעים אם זה היה מודל שפה שכתב בשמו, אבל ברור לחלוטין שזה לא היה בראד פיט האמיתי.

באיזשהו שלב היא מתחילה לחשוד, אחרי שראתה באחד הערוצים דיווח על כך שלבראד פיט יש חברה חדשה, צעירה ומסתורית. היא הרי הייתה בטוחה ש*היא* החברה שלו! היא כותבת לו שזה לא בסדר, משהו בסגנון הזה, והוא מצדו שולח לה סרטון חדשות, כביכול, שבו רואים מגיש מדווח על רומן חדש של בראד פיט עם צרפתייה מסתורית בשם אן. גם הסרטון הזה היה, כמובן, מג׳ונרט ב-AI.

לקח לה זמן להבין. הילדים שלה בסוף שכנעו אותה שזה לא באמת בראד פיט שמאוהב בה. היא איבדה כמיליון דולר, ובאופן נדיר גם חשפה את הסיפור לתקשורת. למרבה הצער, כמעט כל האינטרנט ואחותו צחקו עליה, למרות שהיא די מסכנה בסיפור הזה.

הנקודה שלי היא כזאת: פעם, אם מישהו היה רוצה לתקוף *אותך* אישית, אדם ספציפי, ולייצר עבורך תמונות, סרטוני וידאו, סיפור שלם – זה היה דורש ממנו מאמץ עצום. היום, עם בינה מלאכותית, זה כמעט קלי קלות. עד כדי כך שאפשר בהחלט לדמיין, שאם לא עכשיו אז בזמן לא רחוק, כל השרשרת הזו תהיה אוטונומית לחלוטין: משלב פתיחת השיחה, דרך ניהול הצ׳אט על ידי מודל שפה שמתחזה למישהו, יצירת תמונות וסרטונים בזמן אמת – הכול מנוהל אוטומטית.

ואם יש דבר אחד שלמדתי ב־15–20 השנים שבהן אני עוסק בסיקור עולם ההונאות, זה שאין אדם אחד שחסין בפני הונאות כאלה. כולנו בטוחים שאנחנו ״מתוחכמים״ ולא ניפול ברשת – אבל כולנו ניפול, אם יכוונו בדיוק לנקודת החולשה שלנו. אם בינה מלאכותית עוברת על כל מה שכתבת ברשתות החברתיות, על ההיסטוריה הדיגיטלית שלך, על האתרים שבהם ביקרת, על מה שפרסמת במקומות אחרים – היא יכולה לבנות עליך פרופיל מודיעיני מדויק: מה מפחיד אותך, מה מלחיץ אותך, מה אתה רוצה, על מה אתה חולם, מה אתה מקווה להשיג. מתוך זה אפשר לבנות תרמית שלוחצת בדיוק על הכפתורים האלה – ואז אתה נופל.

כשאיום כזה יהפוך לאוטומטי ואוטונומי לחלוטין, אנחנו מתקרבים פוטנציאלית לעתיד שבו אף אחד מאיתנו, האנשים הרגילים, לא באמת חסין. כל הודעה ברשת החברתית, כל שיחת טלפון, כל אינטראקציה דיגיטלית יכולה להיות הצעד הראשון בדרך להונאה כזו, בקנה מידה של כלל האוכלוסייה. זאת אומרת, הונאה שבמשך שנים הייתה שמורה כמעט רק ל־CEOים ומנהלים בכירים שנחשב משתלם לטרגט אותם אישית – הופכת פתאום לרלוונטית לכל אחד מאיתנו. לכולנו, באופן מטאפורי, יש עכשיו את הנקודה האדומה הזאת של הצלף על המצח.

אותנטיקציה

אז אלה המיקרו־הונאות. אחרי שראינו את התחומים שבהם בינה מלאכותית נכנסת לעולם ההונאות בצורה המשמעותית ביותר, זה הזמן לדבר על מה אפשר לעשות מול הדבר הזה.

קודם כול, די ברור שכל הטכניקות והכלים שאנחנו כבר משתמשים בהם היום כדי להתמודד עם הונאות חייבים להישאר: אלה הכלים ששומרים כרגע על איזון מסוים בינינו לבין הנוכלים, והם עדיין עושים את העבודה. אחד הדברים הראשונים הוא כל הנושא של הצפנת מידע ותקשורת באינטרנט. אפשר לדמיין, למשל, מצב שבו אתם מדברים בזום עם "מנהל הבנק" שלכם, ובעצם, כמו בתרמית שאיתה פתחתי את ההרצאה, זה בכלל לא מנהל הבנק אלא אווטאר מג׳ונרט באיכות גבוהה מאוד, ואתם נופלים בפח. אבל אם השיחה הזו מתבצעת דרך האפליקציה המאובטחת של הבנק, או בערוץ תקשורת מוצפן ומוגן, שבו אתם מתקשרים ישירות מול השרתים של הבנק, אז הסיכוי שמדובר בזיוף נמוך בהרבה – מודלי הבינה המלאכותית לא יודעים לפצח את ההצפנות הללו.

אותו דבר לגבי דרישות של רגולטורים מהרשתות החברתיות: להמשיך להפעיל עליהן לחץ, לחסום חשבונות נוחלים, לנסות למנוע הונאות. מדינות צריכות להמשיך לחוקק חוקים נגד נוכלים כאלה, כדי שיהיה אפשר להעמיד אותם לדין. וכמובן – חינוך. לחנך מגיל צעיר לזהות הונאות, להבין איך הן עובדות, איך להגיב אליהן. כל זה חשוב מאוד.

הבעיה היא שכל אלה כבר לא מספיקים. הם יוצרים היום שיווי משקל מסוים בינינו לבין הנוכלים, אבל הבינה המלאכותית שוברת את שיווי המשקל הזה: היא הופכת את ההונאות הקיימות לחזקות ודרמטיות יותר, ומוסיפה את האיום החדש של מיקרו־הונאות, שאין לנו מולו כמעט שום מענה. לכן נצטרך לשדרג את מערכות ההגנה שלנו. וכמו שאמרתי קודם – אני לא שואל האם נצליח לשדרג, אלא איך. ההיסטוריה מלמדת שבסוף אנחנו מתמודדים; אנחנו פשוט עדיין לא יודעים באילו כלים.

המקום הראשון שבו נצטרך להשתפר הוא כל מה שקשור לאותנטיקציה – היכולת להוכיח שהאדם בצד השני של ערוץ התקשורת הוא אכן אדם, ולא מודל בינה מלאכותית. כבר היום יש לנו כלים בסיסיים לזה: התחברות לאתרים עם שם משתמש וסיסמה, או מבחני CAPTCHA – האותיות המעוותות שצריך להקליד, או התמונות שבהן צריך לסמן רמזורים, אופניים וכדומה.

אבל די ברור שהכלים האלה כבר לא באמת מתאימים לעולם החדש של ה-AI. יש לכך שתי סיבות.

הראשונה: הבינה המלאכותית משתפרת במהירות ושוחקת מאוד את היעילות של ה-CAPTCHA. ראיתי את זה בעצמי לפני כמה חודשים, כששיחקתי עם מצב ה-Agent של ChatGPT – הוא פתח חלון דפדפן, התחיל לבצע פעולות, ובאיזשהו שלב נתקל באתר שהציג CAPTCHA של רמזורים. לפני שהספקתי למצמץ, המודל פתר את ה-CAPTCHA והמשיך הלאה. עבורו זה כבר לא מחסום אמיתי.

הסיבה השנייה היא שהאותנטיקציה כיום קיימת רק בערוצים מאוד מסוימים. בשיחת זום רגילה, למשל, אף אחד לא מבקש מאיתנו להוכיח שאנחנו בני אדם. אם אתם עולים לשיחה מול מישהו בזום, אין לכם כיום שום דרך ודאית לדעת אם הצד השני הוא אדם או מערכת AI. גם בשיחת טלפון – אתם מקבלים שיחה, ולא ברור אם זה בן אדם, מערכת אוטומטית, הקלטה, או משהו באמצע, עד שמתחילים לשים לב לפרטים קטנים. ברור שזה לא מספיק לכיוון שהעולם שהולך אליו. לכן נצטרך לשדרג את מנגנוני האותנטיקציה שלנו – לפרוס אותם על פני ערוצים נוספים, ולפתח יכולות חדשות.

לא מעט אנשים מבינים שזו בעיה קריטית ומנסים לפתור אותה. אחד מהם הוא סם אלטמן, מנכ"ל OpenAI (החברה שמאחורי ChatGPT), שמושקע בחברה בשם Worldcoin. החברה הזו מציבה לעצמה מטרה לבנות מנגנון אימות זהות המבוסס על סריקת הרשתית: יש מעין "כדור" עם מצלמה, הסורק את הרשתית שלך ויוצר חתימה ביומטרית ייחודית. הם מבטיחים שבתמורה לסריקה תקבלו גם מטבע קריפטוגרפי כלשהו. אבל Worldcoin היא רק דוגמה אחת מתוך הרבה מאוד פתרונות שנבחנים: יש רעיון של ארגונים שישמשו כגוף מאמת – הם יזהו אותך פעם אחת, ומאותו רגע יספקו "אישור" מטעמם לכל שירות אחר. יש פתרונות המבוססים על מסמכים רשמיים של רשויות מדינה. יש פתרונות ביומטריים שמנסים לנתח, למשל, את התמונה בזום ולזהות האם מדובר בפנים אמיתיות או בדיפ־פייק מג׳ונרט. חלק מהפתרונות האלה מנצלים פרטים זעירים שהעין האנושית לא רואה, כמו שינויי גוון מיקרוסקופיים בנימים שמתחת לעור, שמושפעים מקצב פעימות הלב – משהו שהמחשב יכול למדוד, ושאמור להעיד על כך שמדובר באדם אמיתי עם דופק.

אבל אני מדגיש את המילה "אמור", כי ברור שמתקיים כאן מרוץ חימוש. ברגע שמפתחים כלי שמזהה חולשה מסוימת בדימוי מג׳ונרט, מי שמפתח את מודלי ה-AI יכול בסיבוב הבא לסגור גם את הפער הזה. זה בדיוק אותו דפוס מוכר של וירוס מול אנטי־וירוס: הווירוסים משתכללים, האנטי־וירוס משתדרג, וחוזר חלילה. לכן אף אחד מהפתרונות האלה, לבדו, כנראה לא יפתור את הבעיה באופן מלא. לא סביר שבזמן הקרוב נגלה פתרון קסם אחד ש"סוגר את הפינה". לכל פתרון יש מגבלות משלו – למשל, Worldcoin מתנגש חזיתית עם סוגיות פרטיות: הוא מבקש מכם למסור סריקת רשתית, והמידע הזה נשמר במסד נתונים של חברה פרטית לא מאוד מוכרת. מדינות רבות לא מוכנות לאפשר פעילות כזו בשטחן, מסיבות די מובנות.

מצד אחד יש לנו אם כך בעיית אותנטיקציה רצינית; מצד שני, יש גם תמריץ כלכלי עצום למי שיצליח לפתור אותה. זה פתרון שיכול לעזור למספר אדיר של ארגונים ואנשים, ולהפחית משמעותית את הצורך באינספור בדיקות זהות ידניות ומעייפות בכל פעולה קטנה ברשת. סביר להניח שהפתרון העתידי יהיה שילוב של כמה שכבות זיהוי ואימות, במודלים שונים, ולא פתרון יחיד. כך או כך, דבר אחד נראה בטוח: נצטרך לשדרג בצורה משמעותית את האותנטיקציה שלנו, בכל המרחב הדיגיטלי.

בינה מלאכותית נגד בינה מלאכותית

הווקטור השני שבו אנחנו צריכים להשתפר הוא להשתמש בבינה מלאכותית *נגד* הבינה המלאכותית שמנסה להונות אותנו.

כדי להסביר למה אני מתכוון, אני חוזר רגע לעבר שלי בחיל הים. חיל הים הישראלי, מי שלא יודע, היה אחד החלוצים בעולם בלוחמת טילים בין ספינות. כחניך בקורס חובלים למדתי איך מתמרנים ספינה כשמתקרב טיל, איך מפעילים אמצעי שיבוש שונים, ומה עושים בכל אחד מן המצבים האלה. אבל כבר אז היה ברור מאוד שזו לא יכולה להיות התשובה האמיתית: אי אפשר לצפות מאדם להתמודד לבדו מול טיל שמתקרב אליו. כשזו מלחמה של אדם מול מכונה – אנחנו כמעט תמיד בנחיתות משמעותית. הטיל מגיע מהר מדי מכדי שאדם יספיק להגיב בזמן. אי אפשר באמת “להילחם” במכונה. ראינו את זה יפה בעולם השחמט: מהרגע שמחשבים נעשו מספיק טובים כדי לנצח בני אדם, גם אלוף העולם החזק ביותר לא מסוגל לנצח אותם באופן עקבי.

לכן בחיל הים – וכמעט בכל הצבאות האחרים – הבינו שהמענה הנכון הוא לתת למכונה אחרת להגן מפני המכונה התוקפת. כלומר, מערכת הגנה אוטונומית שמזהה טיל שמשוגר לעברך, לוקחת פיקוד על הספינה, מתמרנת אותה, מפעילה אמצעי שיבוש, אולי יורה טיל יירוט – ומתמודדת עם האיום בגובה העיניים. אחרת פשוט אין סיכוי; זו התאבדות. ראינו את זה בצורה כואבת במלחמת לבנון השנייה, כשספינת חיל הים “חנית” נפגעה מטיל משום שמישהו כיבה את המערכת האוטונומית. בלי המערכת הזו, אנשי הצוות על הספינה לא הספיקו אפילו למצמץ לפני שהטיל כבר פגע.

בדיוק מאותה סיבה, כשאנחנו מדברים על התמודדות מול בינה מלאכותית שמנסה להונות אותנו – אין לנו סיכוי כבני אדם *לבדם*. כבר עכשיו רואים את זה, וזה רק הולך ומחמיר: ה-AI תדע עלינו כמעט הכול, תאסוף כל פיסת מידע, תייצר הונאות עם מדיה מג׳ונרטת ברמה שלא נוכל להבחין בה שהן זיוף. במצב כזה, אין לנו באמת סיכוי להגן על עצמנו בעיניים חשופות. אנחנו חייבים להציב מולה בינה מלאכותית אחרת – בינה מול בינה.

בהקשר הזה, בעולם הארגוני של חברות וארגונים – זה כבר קורה. הדוגמה הכי טובה היא ממש כאן באינטואיט. ראיינתי את ליאת בן־פורת שעומדת בראש אחד הצוותים כאן באינטואיט שאחראי על הטמעה של מערכות בינה מלאכותית ככלי להתמודדות עם נוכלים שמנסים לחדור לחשבונות וכדומה. בשיחה שלנו היא סיפרה איך אינטואיט מפתחת כלים מבוססי AI שמזהים ניסיונות חדירה, חשבונות מזויפים שמתחזים ללקוחות אמיתיים, או סוכנים אוטונומיים שמזהים פעולות חריגות, מנהלים חקירה ראשונית, אוספים מידע, ורק אם משהו נראה ממש חריג – מעבירים את הטיפול הלאה לגורם אנושי. זו מגמה שאני רואה בכל העולם הארגוני: כמעט כל כלי אבטחת מידע משלב היום יותר ויותר יכולות AI, כדרך להתמודד עם תקיפות שמבוססות בעצמן על AI. זה כבר קורה בפועל.

מערכת חיסון דיגיטלית

השאלה המעניינת, והיא משהו שעוד *לא* קיים, היא ברמת הפרט. כמו שאמרנו, מיקרו־הונאות, תוכן פייק באינטרנט ודברים דומים פוגעים בנו כמשתמשים בודדים. לנו כמשתמשים בודדים אין היום מעטפת הגנה אישית מבוססת AI. אם אנחנו צועדים לעבר עידן שבו כל משתמש בודד יהיה תחת מתקפה כמעט מתמדת של פייקים ומיקרו־הונאות – כנראה שנצטרך דרך לשלב AI גם בשכבת ההגנה האישית על כל אחד מאיתנו.

כרגע לא קיימת מערכת כזו שאפשר פשוט לשלם עליה ולהתקין אותה, ולכן אנחנו עדיין חופשיים לדמיין ולשער איך מערכת כזו תיראה, אילו תכונות יהיו לה, וכאשר תגיע – איך תשפיע עלינו ברמה האישית ועל התרבות שלנו בכלל. כי אם טכנולוגיה כזו תקום, וסביר מאוד שהיא תקום, היא תהיה רלוונטית כמעט לכל אדם בעולם, ותלווה אותנו באופן דומה לטלפון הסלולרי שנמצא היום בכיס של כל אחד – עם השפעה תרבותית לא מבוטלת.

אז איך זה ייראה?

די ברור שמערכת AI כזו, כדי להיות אפקטיבית, תצטרך להיות נוכחת *בכל* ערוץ תקשורת דיגיטלי שלנו: בטלפון, במחשב, בשעון החכם, ברכב – בכל מקום שבו יש לנו ממשק דיגיטלי עם העולם. והיא גם תצטרך להיות מערכת אחת אחודה, שיודעת בכל רגע מה קורה בכל אחד מהערוצים האלה. אם תהיה “בינה של הרכב” ובינה אחרת על המחשב, וכל אחת תדע חלק מהתמונה – כל חור כזה בידע הוא וקטור תקיפה שבינה מלאכותית תוקפת יכולה לנצל. לכן ההגנה תצטרך להיות 360 מעלות, על כל המכשירים, כמערכת אחת.

העיקרון הבסיסי יהיה כזה: הבינה המלאכותית תסתכל על העולם *במקביל* אלינו. כל מה שאנחנו רואים, היא גם “רואה”, וברקע עושה בדיקהכדי להבין אם מה שמוצג לנו הוא אמיתי או תרמית. נניח שאני גולש ברשת ורואה סרטון של חזירים קופצים על טרמפולינה בחיפה. אני, כנראה, לא אבין שזה מזויף, אבל הבינה המלאכותית שמלווה אותי תוכל או לזהות טכנית שמדובר בתוכן מג׳ונרט, או לבדוק במקורות מידע אחרים, במאגרי דאטה אמינים, ולהגיד לי: "שים לב, הסרטון הזה דווח כתוכן מזויף".

אותו דבר בשיחת טלפון “מהבנק”: בזמן שאני מדבר עם ה"נציגה", המערכת תריץ ברקע בדיקות – האם זו באמת שיחה ממספר רשמי של הבנק, האם השעה הגיונית, האם הקול נשמע סינתטי או אנושי, וכן הלאה – ותתריע בהתאם. ברמה העקרונית, בכל אינטראקציה כזו, ה-AI אמור להיות שם וללחוש לנו באוזן: "זה נראה חשוד" או "אני לא בטוח בזה, הנה למה".

עוד שאלה שצריך לחשוב עליה היא רמת *הפרואקטיביות* של הבינה המגינה הזו. האם אנחנו רוצים שהיא רק תתריע – “תדע לך, זה נראה לי מוזר” – ואנחנו נחליט מה לעשות, או שהיא תהיה הרבה יותר אקטיבית: תסנן מראש תמונות שנראות מזויפות, תחסום שיחות טלפון שנראות לה תרמיות, כמו סוג של Truecaller על סטרואידים, שיגיד: “לא, את השיחה הזו אני בכלל לא מעביר אליך”.

די ברור שהילדים יצטרכו הגנה כזו מהרגע הראשון. ילדים הם האוכלוסייה הכי פגיעה באינטרנט. ראיתי את זה בבית: הבן שלי, כשהיה בן שמונה, השקיע בערך 800 שקלים מכסף שחסך כדי לקנות חפצים בפורטנייט – נשקים “מפונפנים” וכל מיני אייטמים. אני יודע שיש תרמיות שבהן משכנעים ילדים למסור את שם המשתמש והסיסמה, ואז גונבים את החשבון ומוכרים את הפריטים האלה לאחרים. הסברתי לו שוב ושוב שלא מוסרים שם משתמש וסיסמה לאף אחד, אבל מישהו הציע לו איזה נשק מאוד נוצץ, והוא, בתמימות של ילד, נתן את הפרטים – ובום, גנבו לו את החשבון וכל ה־800 שקלים נעלמו. ילדים תמימים, והם יהיו טרף קל בלי מעטפת חכמה שתהיה שם כל הזמן בשבילם.

אני חושב שאפשר לקרוא למערכת הדמיונית הזו “מערכת חיסון דיגיטלית”. כמו מערכת החיסון הביולוגית שלנו – היא נמצאת שם 24/7, רוב הזמן בלי שנרגיש, פועלת נגד כל מיני דברים שתוקפים אותנו, מנטרלת איומים בשקט ברקע. פשוט שבמקום וירוסים וחיידקים – היא תטפל בוירוסים חברתיים ודיגיטליים.

בהתחלה, אני מניח שמערכת חיסון דיגיטלית כזו, שעוטפת אותך כל הזמן ומשמשת סוג של מלווה צמוד – שומר ראש דיגיטלי – תיראה להרבה אנשים מוזרה ומאיימת. יהיו לא מעט שלא יסכימו להשתמש בזה, מתוך חשדנות טבעית לטכנולוגיה. ככה זה תמיד היה. סבא שלי, למשל, כשהמכונית נכנסה לחיים של כולם, כבר היה מספיק מבוגר כדי לא להבין את העניין. הוא מעולם לא למד לנהוג. עבדו איתי גם אנשים בשנים האחרונות שלא הסכימו לשדרג לטלפון חכם: נשארו עם מכשירי הכפתורים הישנים, בלי אפליקציות, בלי “שטויות מודרניות”. תמיד יהיו כאלה שלא אוהבים לאמץ טכנולוגיה חדשה.

אבל בסוף, אני חושב שלא תהיה ברירה. הדור הצעיר גדל לתוך עולם שבו בלי הגנה מהסוג הזה אתה פשוט חסר סיכוי – מטרה נייחת. מי שלא יהיה מוכן להשתמש במערכת כזו, פשוט יהפוך לטרף קל: יאבד הרבה כסף, ייפול שוב ושוב בהונאות, ויהיה, במידה רבה, מסכן. עם הזמן, ההתנגדות הזו תישחק, כמו שקורה כמעט עם כל טכנולוגיה חדשה.

השפעה על העולם

אם נניח שלכל אחד מאיתנו תהיה מערכת חיסון דיגיטלית כזו, צריך לשאול: איך זה ישפיע על העולם, ועלינו?

אחד הדברים הראשונים שקל לזהות הוא העוצמה האדירה שתהיה לחברות שיפעילו או יפתחו את מערכות ההגנה האישיות האלה. קודם כול, בעצם העובדה שהן ידעו עלינו *הכל*. המערכת הזו תהיה נוכחת בכל אינטראקציה דיגיטלית שלנו – ואולי גם בחלק מהאינטראקציות שמחוץ לעולם הדיגיטלי – כדי לדעת עלינו מספיק בשביל להגן עלינו. התחושה שלי היא שזה יגמד בסדרי גודל את מה שפייסבוק יודעת עלינו היום, והיא כבר יודעת עלינו המון.

מעבר לזה, למערכות האלה תהיה עוצמה מסוג נוסף: הן יהיו שכבת החיץ בינינו לבין העולם הדיגיטלי. הן יקבעו מה אנחנו רואים ומה לא. מה מסומן כטוב ומה כרע, מה אמת ומה שקר. מי שמגדיר בשבילך כל הזמן מה אמין ומה מפוברק, מחזיק בכוח עצום לעצב את תמונת העולם שלך – את הדרך שבה אתה מבין את המציאות.

וההיסטוריה מראה די בבירור שזה רעיון גרוע לתת כל כך הרבה כוח לחברות שהמוטיבציה המרכזית שלהן היא להרוויח כסף. גם אם חברה מסוימת תתחיל מאידיאליזם כנה ורצון “לעשות טוב לעולם”, כשיש פיתוי כלכלי קיצוני מספיק – ומשבר אחד קטן בהכנסות – הלחץ “לנצל” את העוצמה הזו לצרכים אחרים יהיה גדול מאוד. זה פשוט טבע המערכת.

אז נצטרך למצוא לזה פתרון. אני לא יודע מה יהיה הפתרון הנכון: האם זו תהיה רגולציה הרבה יותר הדוקה על החברות האלה, כמו הרגולציה הקשוחה על חברות תרופות – שמגדירה בצורה נוקשה מה מותר לעשות ומה אסור? אולי יהיו פתרונות טכנולוגיים אחרים – מערכות קוד פתוח, למשל – שהאינסנטיב שלהן שונה לחלוטין? אין לי תשובה סגורה, אבל ברור לי שעוצמה כזו, מרוכזת אצל חברות בודדות, היא משהו שנצטרך לטפל בו בזהירות. אחרת, ניכנס לבעיה די רצינית.

אובדן החשדנות

המישור השני הוא ספקולטיבי לגמרי – אני שם כוכבית מראש: אי אפשר לדעת כרגע אם הוא יתממש או לא. זו יותר מחשבה שעולה מתוך הסתכלות על ההיסטוריה של הטכנולוגיה.

יש עיקרון מאוד מוכר ופשוט: כל טכנולוגיה חדשה שנכנסת לחיים שלנו לוקחת מאיתנו איזשהו סט של כישורים. דוגמה קלאסית: מי כאן יודע לגדל חיטה? כנראה שאף אחד. וזה לא מפתיע. המהפכה התעשייתית במאות ה־18 וה־19 הביאה מכונות חקלאיות שאפשרו לקבוצה קטנה יחסית של אנשים לגדל חיטה עבור כולם. פתאום רוב האוכלוסייה כבר לא צריכה לדעת איך לחרוש, לזרוע ולקצור. לא שזה בלתי אפשרי עבורנו ללמוד – אבל אין לנו את הידע, אין לנו את הניסיון, וגם הגב שלנו כנראה כבר לא בנוי לזה. יש אינספור דוגמאות דומות: מאז שיש טלפונים סלולריים, כמעט אף אחד לא זוכר מספרי טלפון בעל פה. הילדים שלי התחילו לנהוג – בשבילם מפה מודפסת זה כמעט כמו מפת אוצר; הם לא באמת יודעים לקרוא אותה, כי כל חייהם יש Waze. בקיצור, טכנולוגיה תמיד מחליפה חלק מהכישורים שלנו, וכשאנחנו מפסיקים להשתמש בהם – הם מתנוונים.

ומכאן עולה השאלה המסקרנת (ושוב – מאוד ספקולטיבית): אם תהיה לנו "מערכת חיסון דיגיטלית" כזו, שמגינה עלינו מהונאות, איזה כישורים היא תיקח מאיתנו? מה היא "תגנוב" מהמוח האנושי? התחושה שלי היא שהכישור המרכזי שיישחק הוא החשדנות.

במבט ראשון זה נשמע הפוך למה שאמרתי בתחילת ההרצאה – שבעולם של הונאות מבוססות AI אנחנו צריכים להיות חשדנים יותר מתמיד, כי כל אינטראקציה דיגיטלית עלולה להיות הונאה. אבל תחשבו על ילד שגדל לתוך עולם שבו מערכת חיסון דיגיטלית מסננת עבורו את כל ההונאות. אם הונאה מצליחה לעבור את הפילטר הזה, היא כנראה כל כך מתוחכמת שגם בן אדם לא היה מזהה אותה.

היום יש לנו מנגנונים אבולוציוניים שמייצרים חשדנות טבעית: בני האדם חיו תמיד בקבוצות, ותמיד היו כאלה שניסו לרמות ולהונות. לכן התפתחה לנו אינטואיציה חשדנית – אנחנו "חשדניסטים" כברירת מחדל. אבל אם אדם גדל מגיל אפס בסביבה שבה כמעט אי אפשר להונות אותו, כי מערכת אוטומטית מגינה עליו כל הזמן, הוא כמעט לא יפעיל את החשדנות הזו בעצמו. היא אולי תישאר קיימת ברמה עמוקה במוח, אבל תתנוון עם הזמן, פשוט כי לא נעשה בה שימוש.

אז מה קורה אם אנחנו מאבדים את החשדנות?

אינטואיטיבית זה נשמע רע – אתה מאבד מנגנון הגנה. אבל כשמסתכלים היסטורית, רואים תבנית: טכנולוגיה גורמת לנו לאבד יכולות מסוימות, אבל בדרך כלל הרווח גדול מההפסד. במקרה של החיטה, למשל – זה שרוב האנשים לא יודעים לגדל חיטה לא נתפס כבעיה, כי אחרים עושים זאת בשבילנו, ואנחנו פנויים להשקיע את זמננו בדברים מורכבים יותר מלחרוש שדה. אותו עיקרון אפשר לנסות להחיל גם על החשדנות. היום, מעצם היותנו בני אדם, החשדנות מלווה כמעט כל אינטראקציה עם זרים. יש אינספור מנגנונים חברתיים שתפקידם לנהל את החשד הזה: חוזים משפטיים כדי להבטיח זכויות, נוטריונים שמאמתים מסמכים, בלשים פרטיים שעוקבים אחרי אנשים. כל זה עולה זמן, כסף, אנרגיה. זו סוג של חיכוך תמידי שמקשה עלינו להגיע למטרה. נניח שאתה רוצה לקנות בית: אם היית יכול לסמוך ב־100% על הצד השני, העסקה הייתה פשוטה – מעבירים כסף, מקבלים בית. במציאות, צריך עורך דין, מסמכים, בדיקות – כל זה עולה כסף ולוקח זמן. וזה קורה בכל תחום כמעט. החיכוך הזה בולע הרבה מאוד משאבים של החברה האנושית.

עכשיו דמיינו עולם שבו כמעט אין הונאות, כי פשוט קשה מאוד להונות אותך. אתה גדל לסביבה שבה מערכת ההגנה הדיגיטלית שלך מונעת כמעט כל תרמית משמעותית. אולי במצב כזה אנשים יהיו פחות חשדנים אחד כלפי השני, ויהיו מוכנים לתת יותר אמון. כן, זה נשמע קצת נאיבי, אפילו כמו "בואו נחבק עצים ונשיר קומבייה", אבל אני דווקא מגיע מהמקום הפרקטי: להסתכל על ההיסטוריה ולשאול מה קורה כשהטכנולוגיה חדשה נכנסת לחיינו. יכול להיות שהכללה של הונאות מבוססות AI – שמאיימות על כולנו ומכריחות אותנו לפתח מערכת הגנה אישית כדי לשרוד – תוביל בסופו של דבר למשהו הפוך: המערכת הזאת תאפשר אינטראקציות חלקות יותר בין זרים, תפחית את הצורך בחשדנות מתמדת, ותפנה את האנרגיה שלנו לכיוונים אחרים – אולי יצירתיים יותר, מועילים יותר, של צמיחה.

אז ההרצאה התחילה מנקודת מוצא מאוד פסימית: בינה מלאכותית שמביאה איתה גל הונאות מאיים. אני מקווה שהיא גם פתחה פתח למחשבה הפוכה: ייתכן שבסופו של דבר, כל הסיפור הזה הוא סוג של ברכה במסווה.