- טל מימרן וגל דהן
העתיד כבר כאן: בינה מלאכותית בשירות צה"ל בשדה הקרב
מבוא
לאחרונה, פורסמה תשובת צבא ההגנה לישראל (להלן: ״צה״ל״) לבקשת חופש מידע מטעם האגודה לזכויות האזרח בישראל, שעניינה שימוש במערכות בינה מלאכותית במסגרת תהליך לזיהוי מטרות צבאיות.[1] עיון בתשובה זו מעלה כי צה״ל עושה שימוש בכלים מבוססי בינה מלאכותית לשימושים שונים.[2] מדובר בתופעה חדשנית וכזו שמעלה שאלות משפטיות, אתיות ומוסריות, אשר יש להן השפעה דרמטית על התדמית הבין-לאומית של מדינת ישראל והלגיטימציה שלה במסגרת מלחמתה נגד ארגון הטרור חמאס. בהתאם, נבקש לבחון את השימוש של צה״ל בכלי בינה מלאכותית ולהציג שיקולים חשובים בעת שילובם של כלים מסוג זה בשדה הקרב.
החלק הראשון של רשימה זו יסקור את השימושים המגוונים של צה״ל ביישומי בינה מלאכותית. בחלק השני, נבקש לעמוד על האתגרים המשפטיים, האתיים והמוסריים שעולים משימוש לצרכים ביטחוניים בבינה מלאכותית. בחלק השלישי, נבקש להציג בתמצית הצעה להתמודדות עם עיקר האתגרים שעולים ממגמה חדשנית זו שעתידה לשנות את שדה הקרב כפי שאנו מכירים אותו.
א. בינה מלאכותית בצה״ל
מהפכת הבינה המלאכותית
בטרם נפנה לעמוד על היישומים השונים של בינה מלאכותית בצה״ל, ראוי לציין כי מהפכת הבינה המלאכותית נובעת מכך שהעולם נחשף בשנים האחרונות ליכולות מרחיקות לכת בתחום זה – דוגמת כלי בינה מלאכותית יוצרת שביכולתם לייצר טקסטים, תמונות וסרטונים.[3] כפי שנראה מיד, מהפכה זו לא פסחה על התחום הביטחוני, אלא ההיפך הוא הנכון.
ברמה הרגולטורית, בעידן של קיטוב קיים קושי בלקדם שיתוף פעולה בין-לאומי אשר במהלכו מדינות יגשרו על פערים אידיאולוגיים וינסחו כללים משותפים עבור השימוש בבינה מלאכותית באופן כללי, ובמיוחד בכל הנוגע אל שדה הקרב. נוכח האמור, מרבית ההתפתחויות הרגולטוריות ביחס לבינה מלאכותית מתרחשות בימים אלה ברמה מקומית או אזורית.
כך, לדוגמה, האיחוד האירופי קידם חקיקה מרוכזת בנושא (AI Act) שבמרכזה עומדת ההגנה על זכויות הפרט לצד מימוש היתרונות האפשריים של הטכנולוגיה, שכן היא נתפסת כממוקדת זכויות אדם.[4] הגישה בארצות-הברית, מנגד, שמה במרכז את השוק והרצון להניע צמיחה כלכלית.[5] סין לעומת זאת, אימצה גישה המתמקדת במדינה כחלק ממאמץ שאפתני להפוך למעצמת-על טכנולוגית. בריטניה[6] וישראל[7] הציגו אף את מרכולתן בנושא, עם גישה דומה המבקשת להעניק שיקול דעת רחב לרגולטורים שונים במטרה לקדם חדשנות ולחזק את אמון הציבור.
כלי בינה מלאכותית בצה״ל
מדינת ישראל משמשת שחקן מרכזי בתחום הטכנולוגי, והצורך לעליונות בתחום זה נובע בין היתר עקב הבידוד הפוליטי ממנו סובלת מדינת ישראל במזרח התיכון ובשל האיומים עמם היא מתמודדת.[8] צה״ל עושה שימוש בבינה מלאכותית בפעילותו בשני תחומים מרכזיים. האחד, ניתוח מודיעין וזיהוי מטרות צבאיות; השני, התראה על איומים, חיזוי ומערכות הגנה ושליטה.
אשר לתחום הראשון, מערכת ״הבשורה״ (the Gospel), בה התמקדה בקשת חופש המידע דנן, הוכנסה לשימוש בשנת 2021.[9] מערכת זו, על פי תשובת דובר צה״ל, ״מצליבה שכבות שונות של מידע מודיעיני, ועל בסיס זה מספקת לחוקרי מודיעין המלצות ביחס לנכסים החשודים כמטרות צבאיות פוטנציאליות״.[10] כך, המערכת מסייעת לחוקר המודיעין באמצעות קיצור הזמנים הנדרשים לאיסוף החומר המודיעיני והצלבתו, בהשוואה לעבודה שהיה עושה חוקר המודיעין לבדו.
מערכת נוספת המבוססת בינה מלאכותית אשר נחשפה בשנת 2023 מכונה ״מפעל האש״ (Fire Factory), וביכולתה לזהות מטרות צבאיות לצורך תקיפות אוויריות ולקדם תיאום אסטרטגי של פעולות צבאיות. בפרט, המערכת מנתחת נתוני עבר של תקיפות קודמות, מחשבת ומעריכה את התחמושת הנדרשת לכל תקיפה, מציעה לוחות זמנים מיטביים לתקיפה ואף מעניקה עדיפות למטרות שונות.[11] מערכת נוספת היא ״Fire Weaver״, שפותחה על-ידי חברת רפאל. מדובר במערכת המספקת קישוריות בין הלוחמים הפרוסים בשדה הקרב לבין המודיעין שנאסף (sensor-to-shooter), אשר מציעה אפשרויות פעולה על סמך גורמים כמו מיקום, קו ראייה, יעילות ותחמושת זמינה, במטרה להגביר דיוק ולצמצם סיכון של נזקים נלווים.[12]
בעת האחרונה דווח בתקשורת כי צה״ל עושה שימוש במערכת חדשה המבוססת בינה מלאכותית שמכונה לבנדר (Lavender), אשר שימשה בעיקר בשלבים הראשונים של הלחימה ברצועת עזה. מערכת זו נועדה לאתר פעילים החשודים כמשתייכים לארגוני הטרור ברצועת עזה כמטרה פוטנציאלית.[13] ביקורת רבה הושמעה כלפי השימוש במערכת זו, במובן זה שנטען כי המעורבות האנושית בפעילותה הוגבלה לכאורה רק לזיהוי מין המטרה וזאת תוך זמן מוגבל של עשרים שניות בממוצע עבור כל מטרה.[14] ואולם, יש לזכור שהביקורת מופנית אך לשלב הראשוני של תהליך בחירת מטרה. לאחר שחוקר המודיעין מקבל החלטה לגבי מטרה מסוימת בעזרת כלי בינה מלאכותית, היא מועברת לבחינה נוספת בחדר מטרות על ידי גורמים שונים לרבות יועצים משפטיים, יועצים מבצעיים, מהנדסים וקציני מודיעין בכירים אשר באפשרותם לאשר, לשנות או לדחות את המטרה המוצעת.[15] על כן, השימוש במערכת לבנדר מוגבל לשלב איסוף המודיעין, שלאחריו המטרה המוצעת עדיין עוברת בחינה על ידי גורמים אנושיים שונים ובעיקרם יועצים משפטיים אשר יעריכו את חוקיות תקיפת המטרה בשים לב לשיקולי הבחנה, מידתיות וכללים נוספים של המשפט הבין-לאומי ההומניטרי שרלוונטיים לעניין.[16]
אשר לתחום השני, ניתן לציין מערכת המבוססת בינה מלאכותית בשם ״האלכימאי״ (Alchemist) בה השתמש צה״ל כבר במהלך מבצע שומר חומות בשנת 2021.[17] מערכת זו יכולה לשלב נתונים רבים בפלטפורמה מאוחדת וכך ליידע את הלוחמים על איומים שונים דוגמת תנועות חשודות לאורך הגבול.[18] דוגמה נוספת הרלוונטית לענייננו היא מערכת כיפת ברזל המוכרת לכל, המשמשת ליירוט טילים ורקטות בטרם פגיעתם במטרה.[19] הודות למערכת זו, מספר הנפגעים כתוצאה מירי רקטי במלחמה הנוכחית נמוך חרף השיגורים המרובים מאזורים שונים דוגמת עזה, לבנון, סוריה, תימן ואיראן.[20] מערכת כיפת ברזל כוללת יישומים של בינה מלאכותית לצורכי דיוק, תיעדוף בין מטרות ותזמון שיגור הטילים המיירטים.[21] יישומי בינה המלאכותית מאפשרים למערכת כיפת ברזל להתמודד גם עם מגוון רחב יותר של איומים, דוגמת רחפנים, המהווים אתגר משמעותי למערכות הגנה אוויריות.[22] מערכת נוספת שראוי לציין תחת הדיון בתחום זה מכונה ״Edge 360״. מערכת זו מותקנת בתוך כלי רכב משוריינים הפועלים כעת ברצועת עזה וביכולתה לזהות ולהתריע באופן מידי על איומים פוטנציאליים.[23]
לבסוף, צה״ל משתמש בבינה מלאכותית אף לצורכי בקרת גבולות, באופן כזה שלאורך גבולותיה של ישראל פרוסה רשת רחבה של מצלמות וידאו שמעבירות נתונים למרכזי הבקרה ולתצפיתנים. הודות ליישומי הבינה המלאכותית, באפשרותה של המערכת לנתח נתונים ולזהות אנשים, כלי רכב ובעלי חיים, להצליב תמונות עם מידע רלוונטי אחר ולשלוח התראת חירום בעת הצורך.[24] אכן, הטבח של השבעה באוקטובר העלה ספקות ביחס ליעילותה של המערכת, אך עד שלא תתבצע חקירה רשמית יהיה קשה לעמוד על הכשלים הטכניים המדויקים.
ב. האתגרים העולים משילוב יישומי בינה מלאכותית
בשנים האחרונות קיים דיון ציבורי ער באשר לאתגרים והזדמנויות הנובעים משילוב יישומי בינה מלאכותית בהיבטים ביטחוניים. סוגיה מרכזית נוגעת למעורבות האנושית הנדרשת בתהליכי קבלת ההחלטות. אנו סבורים כי שימוש צבאי במערכות בינה מלאכותית – הן בעלות אופי התקפי והן בעלות אופי הגנתי – מחייב גורם אנושי כחלק בלתי נפרד מתהליך קבלת ההחלטות, על מנת לשפר את הדיוק בקבלת ההחלטות; להגביר לגיטימציה; ולהבטיח אחריותיות.
ראשית, מעורבות אנושית משפרת את הדיוק ואת האיכות של ההחלטות שמתקבלות, ויש בכך לסייע במניעה או מזעור של טעויות.[25] הדבר רלוונטי מטבע הדברים לכלי בינה מלאכותית בעלי אופי הגנתי דוגמת כיפת ברזל ו-Edge 360, כמו גם מערכות בינה מלאכותית בעלות היבטים התקפיים. יש לציין כי הסף שמציב הדין ההומניטרי הוא של המפקד הצבאי הסביר, כלומר, בעת בחינת החלטה מסוימת נשאל את עצמנו האם מפקד סביר היה מקבל את אותה החלטה באותן נסיבות.[26] לפיכך, אין הצדקה למצב שבו מערכת בינה מלאכותית בעלת אופי התקפי דוגמת לבנדר או מפעל אש תורה על תקיפה של פרטים ללא כל מעורבות אנושית.[27] שנית, מעורבות אנושית בתהליך קבלת ההחלטות עשויה להגביר את הלגיטימיות של ההחלטה ולשפר את אמון הציבור.[28] ויודגש, צה״ל מתמודד רבות עם אתגרים הקשורים בלגיטימציה בין-לאומית. זאת, במיוחד באשר לשימוש בבינה מלאכותית במלחמה הנוכחית – ניתן לראות שגופים שונים האשימו את צה״ל בהפעלת ״מפעל התנקשות המונית״ בהקשר של השימוש במערכת הבשורה לבחירת מטרות,[29] וכן בהסתמכות מוחלטת על המלצות מערכת לבנדר תוך הגבלת המעורבות האנושית אך לבדיקת מין המטרה תחת הגבלת זמנים של עשרים שניות בלבד.[30] שלישית, הכללת גורם אנושי בתהליך קבלת ההחלטות חיונית מבחינת אחריותיות. במצב שבו בוצע פשע מלחמה עקב החלטה שגויה של מערכת המבוססת בינה מלאכותית, ואין אף גורם אנושי שיכול לשאת באחריות על פשע זה (עקב אי-מעורבות בתהליך קבלת ההחלטה), נוצר פער באשר לשאלה מי הגורם שיישא באחריות.[31]
נוכח האמור, הוועד הבין-לאומי של הצלב האדום הכיר בחיוניות של שמירת השליטה ושיקול הדעת האנושי במסגרת הפעלת מערכות מבוססות בינה מלאכותית בהקשרים צבאיים.[32] בהתאם, עמדת צה״ל כפי שפורטה בתשובת דובר צה״ל לבקשת חופש המידע היא שתוצאות מערכת הבשורה הן בגדר המלצה בלבד וההחלטה מתקבלת אך ורק על ידי החוקר.[33] עוד צוין בהקשר זה כי ההחלטה להפליל מטרה תוך הסתייעות במערכת הבשורה ״תיבחן ותאושר (בנפרד) על-ידי גורם אחד נוסף לפחות בשרשרת הפיקוד המודיעינית של החוקר״.[34] מכאן ניתן ללמוד על הגישה הכללית של צה״ל באשר לתהליך בחירת מטרות המערב את שאר כלי הבינה המלאכותית בעלי אופי התקפי (לבנדר, מפעל אש ו-Fire Weaver).
באשר לביקורות שהושמעו לאחרונה ביחס למידת המעורבות האנושית והאפקטיביות שלה בתהליך בחירת המטרות המתבסס על מערכת לבנדר, ראוי לציין כי על צדדים לסכסוך מוטלת החובה לנקוט את צעדי הזהירות הדרושים על מנת להקטין, במידת האפשר, את הנזק הנלווה לאינטרסים הומניטריים עקב מתקפה צבאית.[35] צעדים אלו כוללים למשל את הצורך לנקוט אמצעי זהירות על מנת לצמצם פגיעות באזרחים ככל הניתן וכן את הדרישה לברר, ככל הניתן, אם היעד המותקף הינו בעל אופי אזרחי או צבאי.[36] לגישתנו, הקצב המהיר של יצירת מטרות על ידי מערכות בינה מלאכותית, יחד עם זמנו המוגבל של המפקד לבדיקה מקיפה של כל מטרה, מעוררים חשש לגבי עמידה בחובה האמורה. עם זאת, נראה כי העמדה הרשמית של צה״ל מספקת מענה לחשש זה. כפי שצוין, השימוש במערכות מבוססות בינה מלאכותית כמו הבשורה ולבנדר מוגבל אך לשלב הראשוני של איסוף המודיעין, ובשלבים מאוחרים יותר נדרשים אישורים של גורמים נוספים לרבות יועצים משפטיים המאמתים לא רק את הקביעות העובדתיות, אלא גם בוחנים אם התקיפה המוצעת תואמת את עקרונות ההבחנה, המידתיות וכללים נוספים של המשפט הבין-לאומי.[37]
אתגר נוסף הקשור לתפקידם של בני אדם בתהליך קבלת ההחלטות מכונה הטיית האוטומציה (Automation bias). מדובר בנטייה של בני אדם לסמוך על החלטות המתקבלות על ידי מכונות מבלי להטיל ספק בתוצאות, אף במצב בו מוצג מידע המערער על נכונות ההחלטה.[38] הטיה זו מתעצמת כאשר ההחלטות מתקבלות במהירות.[39] אומנם מפקדי צה״ל יכולים לבחור להתעלם מהמלצות של מערכות כמו הבשורה, לבנדר ומפעל האש אך מאתגר להימנע מהנטייה לסמוך יתר על המידה על המלצותיה של מערכת בינה מלאכותית כזו או אחרת.[40] בדומה, כבר הוכח כי בינה מלאכותית יכולה להראות העדפות[41] או הטיות שנובעות בין היתר מהנתונים המשמשים לאימון המערכת או מהמפתחים שלה.[42] כך למשל, הטיה יכולה להתגלות בשל ייצוג יתר של תמונות או סרטונים המציגים אנשים ממוצא אתני מסוים כגורמים בעלי סיכון.
לבסוף, עולה שאלה בכל הנוגע ליכולות ההסברתיות של מערכות בינה מלאכותית. תופעה זו מכונה ״קופסה שחורה״ והיא ממחישה מצב שבו קשה לתאר כיצד המערכת הגיעה להחלטה הסופית. כלומר, ידוע לכל מה המידע שהוזן למערכת ומה התוצאה אליה הגיעה המערכת, אך דרך פעולת המערכת והסיבות שהובילו אותה לתוצאה אינן ידועות ואף אינן ניתנות להבנה פשוטה.[43] הדבר מעלה חשש במיוחד בנוגע למערכות בעלות אופי התקפי (מפעל אש, הבשורה, לבנדר ו-Fire Weaver) באשר לעמידה בחובות של הדין הבין-לאומי ההומניטרי ודיני זכויות האדם, ובפרט החובה לערוך חקירות אפקטיביות ביחס לפעולות צה"ל.[44] יתרה מזו, הדבר מגדיל את הסיכון להישנות של תקריות דומות, שכן לא יהיה ניתן לטפל בשורש הבעיה. בהקשר זה, בתשובת דובר צה״ל הובהר שביחס לכל המלצה פרטנית ״המערכת מספקת לחוקר את המידע עליו היא מתבססת, באופן המאפשר לחוקר לאסוף ולהבין בקלות את המידע שעליו נשענה, ואז לערוך בחינה עצמאית אנושית של החומר המודיעיני״.[45] מה שכן, לא ברור אם המידע מאפשר להבין טעויות בהמלצות המערכת.
ג. מבט לעתיד – עקרונות מנחים להכנסה לשימוש של בינה המלאכותית בשדה הקרב
המשפט הבין-לאומי מגביל את בחירתן של מדינות באשר לכלי נשק, אמצעים ושיטות לחימה.[46] שילוב כלים מבוססי בינה מלאכותית בצה״ל מזמן דיון הנוגע לחוקיות השימוש בכלים אלה ביישומים צבאיים, מכוח המנגנון שנקבע בסעיף 36 לפרוטוקול הנוסף הראשון לאמנות ז׳נבה.[47] לפי מנגנון זה, על מדינות להעריך כלי נשק, אמצעי לחימה או שיטות לחימה חדשים בטרם הפריסה והשימוש בהם. בעוד שמדינת ישראל אינה חתומה על הפרוטוקול,[48] הוועדה לזכויות האדם של האו״ם הבהירה כי ההגנה על הזכות לחיים דורשת גם הערכות מניעתית ביחס לכלי נשק חדשים, מכוח האמנה הבין-לאומית בדבר זכויות אזרחיות ומדיניות (אליה הצטרפה ישראל בשנת 1991).[49]
בפועל, מדינות שונות שאינן חתומות על הפרוטוקול הנוסף הראשון יישמו הליכים מסוג זה.[50] על כן, אנו סבורים כי על מדינת ישראל למסד מנגנון לבחינת כלי בינה מלאכותית בהקשרים צבאיים בטרם פריסתם, בהתבסס על סעיף 36 לפרוטוקול הנוסף הראשון.
אשר להיקף הסקירה, יש לערוך כאמור סקירה משפטית עבור כלי נשק, אמצעי לחימה ושיטות לחימה חדשים. המונח ״נשק״ מכוון ליכולות התקפיות שונות בלחימה אשר מסוגלות לגרום נזק לחפצים, פציעה או מוות.[51]המונח ״אמצעי לחימה״ הוא מונח רחב יותר המשתרע על ציוד, מערכות, פלטפורמות ומכשירים המשמשים לפעולות צבאיות.[52] ״שיטות לחימה״, לעומת זאת, מתייחס לאסטרטגיות ודרכי הפעולה של צבאות.[53] מבין הכלים שבפנינו, ראוי לציין כי אלה שבעלי אופי התקפי (ובמיוחד מערכת הבשורה, מפעל האש, לבנדר ו-Fire Weaver), מהווים אמצעי לחימה הדורשים הערכה בטרם פריסתם, ואילו נראה כי כלי הבינה המלאכותית ההגנתיים שהוצגו (מערכת כיפת ברזל, האלכימאי, מערכת הבינה המלאכותית המשמשת בגבולות ו-Edge 360) אינם בהכרח דורשים הערכה שכזו. בהקשר זה, יובהר כי אנו סבורים שאימוץ מנגנון סקירה משפטית כאמור על ידי מדינת ישראל יחייב הערכה מחודשת של כלי בינה מלאכותית הנמצאים כבר עתה בשימוש על ידי צה״ל.
את הסקירה המשפטית יש לערוך בשלושה שלבים שונים. תחילה, יש לקבוע האם השימוש בכלי אסור לפי דין בין-לאומי הסכמי או מנהגי.[54] לענייננו, איסור או הגבלה פרטניים ביחס לבינה מלאכותית בשדה הקרב לא קיימים בעת הנוכחית, בשל חילוקי דעות אידיאולוגיים בין המעצמות המובילות את מרוץ הבינה המלאכותית אשר מונעים את היכולת לקדם רגולציה בין-לאומית.
בשלב השני, אם אין איסור או הגבלה פרטניים יש לקבוע האם השימוש בכלי שנתון לבחינה צפוי להפר באופן אינהרנטי כללים של המשפט הבין-לאומי ההומניטרי (למשל, נשק, אמצעי או שיטת לחימה שאין ביכולתם להבחין בין אזרחים ללוחמים).[55] כלי הבינה המלאכותית המשמשים את צה״ל אינם מפרים מטבעם את הדין ההומניטרי שכן כלים אלו משמשים בעיקרם כתומכי החלטות ואינם גורמים מטבעם לנזק ישיר. בנסיבות אלה, דומה כי שלב זה מחייב מעורבות משמעותית של גורם אנושי כחלק בלתי נפרד מתהליך קבלת ההחלטות הצבאיות בסיוע כלי בינה מלאכותית, וזאת בהתבסס על הסטנדרט של המפקד הצבאי הסביר שהפך לעוגן מרכזי בבחינה של חוקיות תקיפות, משום היותו עקרון כללי של המשפט ההומניטארי.[56] ועדיין, חשוב לציין שמדובר ברף גבוה ביותר, כזה אשר הביא לפסילה, למשל, של נשקים בלתי קונבנציונאליים עם השפעה מרחיקת לכת ודרמטית על היכולת להגביל את היקף המתקפה או למקד את האובייקט שלה.
בשלב השלישי, המדינה נדרשת לשקול את חוקיות פריסת הכלי לאור סעיף מרטנס, אשר דורש כי מדינות יפעלו בקנה אחד עם ׳עקרונות האנושות׳ או ׳צו מצפון הציבור׳.[57] סעיף מרטנס הוכר זה מכבר כ״אמצעי יעיל להתמודדות עם הערכה מהירה של טכנולוגיה צבאית״, מאחר והוא מהווה פתח להכללה של שיקולי זכויות אדם בהערכה המשפטית.[58] בהקשר הנוכחי, סעיף זה ידרוש ממדינת ישראל לוודא כי ההכנסה לשימוש של כלים מבוססי בינה מלאכותית ייעשו תוך שמירה על כבוד האדם, ושוויון בפני החוק, והפעלתם בשדה הקרב תעשה באופן השואף למנוע פגיעה שרירותית בחיי אדם ויאפשר חקירה אפקטיבית במקרה של פגיעה בחיי אדם או ברכוש.
סיכום
עידן הבינה המלאכותית מאופיין במרוץ טכנולוגי אשר מהדהד מתחים בין מעצמות ואשר משפיע על מציאות גאו-פוליטית המשתנה לנגד עינינו בכל יום שעובר. הדבר משפיע אף על המישור הצבאי. אנו מכירים בתועלת הרבה אשר עשויה לצמוח לצה״ל מהשימוש בכלי בינה מלאכותית צבאיים. ועדיין, שימוש בטכנולוגיה חדשנית שכזו על ידי צה״ל מעלה אתגרים משפטיים וחששות מוסריים דוגמת רמת המעורבות האנושית ואתגרים טכניים שטבועים בכל יישומי הבינה המלאכותית. אתגרים אלו משפיעים על הלגיטימציה של פעולותיו של צה"ל, במיוחד במלחמתו הנוכחית מול חמאס, והחשיבות של אותה לגיטימציה גדלה שבעתיים בעידן שבו מדינת ישראל עומדת למשפט בפני בית הדין הבין-לאומי לצדק בהאג, ומתמודדת עם לחץ בין-לאומי גובר על רקע פגיעה ביכולת הייבוא הביטחוני של ישראל וסנקציות שמוטלות על אזרחיה.
משכך, חשוב למסד מנגנון לבחינת כלי בינה מלאכותית בהקשרים צבאיים בטרם פריסתם, בהתבסס על סעיף 36 לפרוטוקול הנוסף הראשון. כל עוד לא תובהר המסגרת המשפטית והאתית הראויה לפריסת כלים מבוססי בינה מלאכותית בשדה הקרב, ראוי להימנע משימוש בכלים אלו בשדה הקרב ללא מעורבות אנושית. כמו כן, יש לקדם הסברתיות ביחס לכלים מבוססי בינה מלאכותית, ובפרט בדבר התוצאות שאליהן הם הגיעו. לבסוף, יש להתמודד עם החשש להטיה מצד המערכות ולפעול לצמצומו בשלב התכנון והפיתוח.
[1] לבקשת חופש המידע מטעם האגודה לזכויות האזרח בישראל, ראו: "לבחון את השימוש במערכת "הבשורה" המשמשת להצעת מטרות לתקיפה צבאית" האגודה לזכויות האזרח בישראל (4.3.2024), https://www.acri.org.il/post/_1027; ראו את מענה מדובר צה״ל עבור בקשת חופש המידע: ״בקשתך למידע בנושא מידע בעניין מערכת ״הבשורה״״ דובר צה״ל (20.2.2024), https://www.idf.il/media/4ecjskzb/%D7%9E%D7%A2%D7%A0%D7%94-%D7%9C%D7%91%D7%A7%D7%A9%D7%94-%D7%91%D7%A0%D7%95%D7%A9%D7%90-%D7%9E%D7%99%D7%93%D7%A2-%D7%91%D7%A2%D7%A0%D7%99%D7%99%D7%9F-%D7%9E%D7%A2%D7%A8%D7%9B%D7%AA-%D7%94%D7%91%D7%A9%D7%95%D7%A8%D7%94.pdf (להלן: ״תשובת צה״ל חופש מידע״).
[2] שם. בהקשר זה, ראו: Tal Mimran, The realities of IDF using AI in the battlefield – opinion, The Jerusalem Post (February 23, 2023), https://www.jpost.com/opinion/article-732433.
[3] להרחבה, ראו: https://openai.com/blog/chatgpt OpenAI.
[4] גל דהן ״הצעת הרגולציה של האיחוד האירופי בתחום הבינה המלאכותית – Artificial Intelligence Act״ מכון תכלית (23.7.2023) https://www.tachlith.org.il/post/artificial-intelligence-act.
[5] ראו, למשל: Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence, The White House (Oct. 30, 2023),
[6] Department of Science, Innovation & Technology, A pro-innovation approach to AI regulation, 39-41, GOV.UK (August 3 2023), https://www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach/white-paper#part-3-an-innovative-and-iterative-approach.
[7] ״עקרונות, מדיניות, רגולציה ואתיקה בתחום הבינה המלאכותית 2023״ משרד החדשנות, המדע והטכנולוגיה (17.12.2023) https://www.gov.il/he/departments/policies/ai_23.
[8] כך, למשל, במלחמה הנוכחית ניתן להצביע על עלייה משמעותית במספר ובאיכות מתקפות הסייבר כלפי גורמים ישראליים. ראו Tal Mimran, Israel – Hamas 2023 Symposium – Cyberspace – The Hidden Aspect of the Conflict, Lieber Institute (Nov. 30, 2023), https://lieber.westpoint.edu/cyberspace-hidden-aspect-conflict/.
[9] Yonah Jeremy Bob, IDF Unit 8200 commander reveals cyber use to target Hamas commander, The Jerusalem Post (February 13, 2023) https://www.jpost.com/israel-news/article-731443.
[10] תשובת צה״ל חופש מידע, לעיל ה״ש 1.
[11] Marissa Newman, Israel Quality Embeds AI Systems in Deadly Military Operations, Bnn Bloomberg (July 16, 2023) https://www.bnnbloomberg.ca/israel-quietly-embeds-ai-systems-in-deadly-military-operations-1.1946398; Marissa Newman, Israel's new military AI system select targets and plan missions 'in minutes', The Japan Times (July 17, 2023), https://www.japantimes.co.jp/news/2023/07/17/world/israel-quietly-embeds-ai-military-systems/.
[12] Yaakov Kats, The new weapon systems Israel is using to battle Hamas in Gaza, The Jerusalem Post (Nov. 30, 2023), https://www.jpost.com/arab-israeli-conflict/gaza-news/article-776000; Harry Lye, IDF acquires Rafael Fire Weaver sensor-to-shooter system, Global Defence Technology (February 3, 2020), https://www.army-technology.com/news/idf-rafael-weaver/?cf-view.
[13] Yuval Abraham, 'Lavender': The AI machine directing Israel's bombing spree in Gaza, +972 Magazine (April 3, 2024) https://www.972mag.com/lavender-ai-israeli-army-gaza/ (להלן: Abraham, 'Lavender'); Ishaan Tharoor, Israel offers a glimpse into the terrifying world of military AI, The Washington Post (April 5, 2024), https://www.washingtonpost.com/world/2024/04/05/israel-idf-lavender-ai-militarytarget/.
[14] שם.
[15] ראו תשובת צה״ל חופש המידע, לעיל ה״ש 1, בפס׳ ו-ח.
[16] שם.
[17] Anna Ahronheim, Israel's operation against Hamas was the world's first AI war, The Jerusalem Post (May 27, 2021), https://www.jpost.com/arab-israeli-conflict/gaza-news/guardian-of-the-walls-the-first-ai-war-669371.
[18]Neil Renic & Elke Schwarz, Inhuman-in-the-loop: AI-targeting and the Erosion of Moral Restraint, Opinio Juris, (December 19, 2023), https://opiniojuris.org/2023/12/19/inhuman-in-the-loop-ai-targeting-and-the-erosion-of-moral-restraint/#:~:text=The%20IDF%20has%20at%20least,data%20from%20other%20surveillance%20sources.
[19] Daphné Richemond-Barak & Ayal Feinberg, The Irony of the Iron Dome: Intelligent Defense Systems, Law, and Security, 7 Harvard National Security Journal 469 (2016).
[20] What is Israel's Iron Dome missile system and how does it work?, Bbc News (Nov. 6, 2023), https://www.bbc.com/news/world-middle-east-20385306.
[21] Gautam Ramachandra, How Artificial Intelligence is Improving Iron Dome, Medium (May 13, 2023), https://medium.com/@gautamrbharadwaj/how-ai-is-improving-iron-dome-3894cd3668f9.
[22] שם.
[23] Takeshi Kumon, Israeli Startups hope to export battle-tested AI military tech, Nikkei Asia (March 30, 2024), https://asia.nikkei.com/Politics/Israel-Hamas-war/Israeli-startups-hope-to-export-battle-tested-AI-military-tech.
[24] IDF Editorial team, The IDF's New Artificial Intelligence Can Tell You What's Happening in a Video, IDF (Dec. 15, 2016), https://www.idf.il/en/mini-sites/technology-and-innovation/the-idf-s-new-artificial-intelligence-can-tell-you-what-s-happening-in-a-video/; Shoshanna Solomon, IDF tech uses AI to watch and describe objects in video footage, The Times of Israel (May 4, 2017), https://www.timesofisrael.com/idf-creates-video-transcribing-tech-eyeing-future-surveillance-support/.
[25] Avi Goldfarb & Jon R. Lindsay, Prediction and Judgment: Why Artificial Intelligence Increases the Importance of Humans in War, 46 International Security 7 (2022).
[26] בג״ץ 769/02 הוועד הציבורי נגד העינויים בישראל נ׳ ממשלת ישראל, פ״ד נב(2) 507, 512 (2006); Ian Henderson and Kate Reece, Proportionality under International Humanitarian Law: The "Reasonable Military Commander" Standard and Reverberating Effects, 51 Vanderbilt Journal of Transnational Law 835, 844-846 (2018).
[27] Robert D. Sloane, Puzzles of Proportion and the "Reasonable Military Commander": Reflections on the Law, Ethics, and Geopolitics of Proportionality, 6 Harvard National Security Journal 299, 302 (2015). (להלן: Sloane).
[28] Ari Waldman & Kirsten Martin, Governing algorithmic decisions: The role of decision importance and governance on perceived legitimacy of algorithmic decisions, bid data & soc'y 1 (2022).
[29] Yuval Abraham, 'A mass assassination factory': Inside Israel's calculated bombing of Gaza, +972 Magazine (Nov. 30, 2023), https://www.972mag.com/mass-assassination-factory-israel-calculated-bombing-gaza/.
[30] Abraham, 'Lavender', לעיל ה״ש 13.
[31] Kevin Jon Heller, The Concept of "The Human" in the Critique of Autonomous Weapons, 14 Harvard National Security Journal, 62-70 (Forthcoming, 2023).
[32] Artificial Intelligence and Machine Learning in Armed Conflict: A Human-Centered Approach, ICRC 463, 475 (2019), https://international-review.icrc.org/sites/default/files/reviews-pdf/2021-03/ai-and-machine-learning-in-armed-conflict-a-human-centred-approach-913.pdf.
[33] תשובת צה״ל חופש מידע, לעיל ה״ש 1.
[34] שם.
[35] Protocol Additional to the Geneva Conventions of 12 August 1949, and relating to the Protection of Victims of International Armed Conflicts, 8 June 1977, 1125 UNTS Art.57 (להלן: הפרוטוקול הראשון).
[36] ארנה בן-נפתלי ויובל שני המשפט הבינלאומי בין מלחמה לשלום 155 (2006).
[37] תשובת צה״ל חופש מידע, לעיל ה״ש 1; Tal Mimran & Gal Dahan, Artificial Intelligence in the Battlefield: A Perspective from Israel, Opiniojuris (20.4.2024), https://opiniojuris.org/2024/04/20/artificial-intelligence-in-the-battlefield-a-perspective-from-israel/.
[38] Linda J. Skitka, Kathleen Mosier & Mark Burdick, Does automation bias decision-making?, Int. J. Human-Computer Studies 51,991-1006 (1999).
[39] Klaudia Klonowska, Designinig for Reasonableness: The Algorithmic Mediation of Reasonableness in Targeting Decisions, Articles of War (February 23, 2024), https://lieber.westpoint.edu/designing-reasonableness-algorithmic-mediation-reasonableness-targeting-decisions/.
[40] Tal Mimran, Magda Pacholska, Gal Dahan & Lena Trabucco, Beyond the Headlines: Combat Deployment of Military AI-Based Systems by the IDF, Lieber Institute (February 2, 2024), https://lieber.westpoint.edu/beyond-headlines-combat-deployment-military-ai-based-systems-idf/.
[41] The Select Committee on Artificial Intelligence, AI in the UK: Ready, Willing and Able? (April 16, 2018), para. 108, https://publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf (להלן: "Select Committee on Artificial Intelligence").
Ziad Obermeyer, Brian Powers, Christine Vogeli & Sendhil Mullainathan, Dissecting Racial Bias in an Algorithmic Used to Manage the Health of Populations, Science 366, 447 (2019).
[42] Lindsey Barrett, Reasonably Suspicious Algorithms: Predictive Policing at the United States Border, 41 N.Y.U. Rev. L. & Soc. Change 327, 337 (2017).
[43] Yavar Bathaee, The Artificial Intelligence Black Box and the Failure of Intent and Causation, 31 Harv. J. L. & Tech. 889, 893, 901 (2018); Carlos Zednik, Solving the Black Box Problem: A Normative Framework for Explainable Artificial Intelligence, 34 Phil. & Tech. 265, 267-269 (2021).
[44] הפרוטוקול הראשון, לעיל ה״ש 36, בס׳ 85;5; Human Rights Committee, General Comment 31: Nature of the General Legal Obligation Imposed on States Parties to the Covenant, U.N Doc. CCPR/C/21/Rev.1/Add.13 (2004), at para. 8.
[45] תשובת צה״ל חופש מידע, לעיל ה״ש 1.
[46] Tal Mimran & Yuval Shany, Integrating Privacy Concerns in the Development and Introduction of New Military or Dual-Use Technologies in The Rights to Privacy and Data Protection in Times of Armed Conflict 29 (Russell Buchan & Asaf Lubin eds., 2022).
[47]הפרוטוקול הראשון, לעיל ה״ש 36, בס׳ 36.
[48] רות לפידות, יובל שני ועדו רוזנצוייג ישראל ושני הפרוטוקולים הנוספים לאמנות ז׳נבה 14 (2011). אשר לסיבות בדבר אי-אימוץ הפרוטוקול ולהתנגדויות שהציגה מדינת ישראל (למשל, ביחס לתחולת הפרוטוקול לא רק על סכסוכים בין שתי מדינות אלא גם על סכסוכים בין מדינות לבין עמים הנלחמים למימוש זכותם להגדרה עצמית כנגד משטרים זרים, קולוניאליים או גזעניים), ראו שם, בעמ׳ 30-25.
[49] Human Rights Committee, General Comment No. 36 on Article 6 of the International Covenant on Civil and Political Rights, on the Right to Life, U.N Doc. CCPR/C/GC/36 (October 30, 2018), at para. 65.
[50] Isabelle Daoust, Robin Coupland & Rikke Ishoey, New wars, new weapons? The obligation of States to assess the legality of means and methods of warfare, 84 International Review of the Red Cross 345, 348 (2002).
[51] Program on Humanitarian Policy and Conflict Research at Harvard University, HPCR Manual on International Law Applicable to Air and Missile Warfare, Cambridge University Press (2013).
[52] Vincent Boulanin & Maaike Verbruggen, Article 36 Reviews: Dealing with the Challenges Posed by Emerging Technologies, Sipri(2017).
[53] Michael N. Schmitt & Jeffrey S. Thurnher, "Out of the loop": Autonomous Weapon Systems and the Law of Armed Conflict, 4 Harvard National Security Journal 231, 271 (2013).
[54] International Committee of the Red Cross, A Guide to the Legal Review of Weapons, Means and Methods of Warfare (December 2006) 931, 939-942, https://www.icrc.org/en/doc/assets/files/other/irrc_864_icrc_geneva.pdf
[55] שם, בעמ׳ 944-942.
[56] לדיון בסטנדרט זה, במיוחד בהקשר של הערכת חוקיות תקיפות, ראו Sloane, לעיל ה"ש 27.
[57] שם, בעמ׳ 945-944; הפרוטוקול הראשון, לעיל ה״ש 36, בס׳ 1(2); Convention (IV) respecting the Laws and Customs of War on Land 1907 and its annex: Regulations concerning the Laws and Customs of War on Land. The Hague, 18 October 1907, Preamble.https://ihl-databases.icrc.org/assets/treaties/195-IHL-19-EN.pdf .
[58] Legality of the Threat or Use of Nuclear Weapons, Advisory Opinion, 1996 I.C.J ¶ 84, 87 (July 8, 1996).