במדריך הזה · 5 פרקים
גילוי נאות: אנחנו בונים סוכן שעונה לביקורות, כך שיש לנו עניין בנושא. השתדלנו לכתוב את המדריך כך שיועיל גם למי שיישאר עם מה שבנה בעצמו.
מה הבעיה
היום אפשר לבנות בערב אחד אוטומציה שעונה לביקורות בגוגל. מחברים את Claude או ChatGPT לפרופיל העסק, כותבים כמה הנחיות, וזה עובד. יש לזה עשרות תבניות מוכנות ומדריכים. כמעט אף אחד מהם לא מזכיר דבר אחד: את הביקורת כותב אדם זר, והבינה המלאכותית קוראת כל מילה שלו.
מודל שפה לא תמיד מבדיל בין טקסט שביקשו ממנו לקרוא לבין הוראה שנתנו לו. אם מישהו כותב בביקורת משפט שפונה אל הבוט ולא אל הקוראים, המודל עלול להתייחס אליו כאל הוראה. לתופעה קוראים הזרקת הוראות (באנגלית prompt injection).
המדריך בסרטון · 2:38 דקות
זה כבר קרה, אבל לא דרך ביקורות
השיטה הודגמה בשדות טקסט שדומים מאוד לביקורת:
- תגובה ברדיט גרמה לדפדפן עם בינה מלאכותית לשלוף קוד חד-פעמי מתיבת המייל של המשתמש, לפי חוקרי Brave.
- פנייה לתמיכה גרמה לעוזר תכנות לחשוף טבלה פרטית ממסד נתונים, לפי הסיכום של סיימון ויליסון.
- טופס השארת פרטים באתר גרם לסוכן הבינה המלאכותית של Salesforce לשלוח החוצה כתובות מייל של פונים שנשמרו במערכת, לפי חוקרי Noma.
שלושתם הדגמות של חוקרי אבטחה, לא התקפות על עסקים. ובכנות: חיפשנו ולא מצאנו אף מקרה מתועד שבו ביקורת בגוגל השתלטה על בוט שעונה לביקורות. המנגנון זהה, ומרכז הסייבר הלאומי של בריטניה כבר כתב ש ייתכן שהבעיה לא תיפתר לגמרי לעולם.
כמה זה מסוכן תלוי במה שהבוט יכול לעשות
הסיכון לא נקבע לפי המודל שבחרת. הוא נקבע לפי מה שנתת למודל לעשות חוץ מלכתוב.
| מה בנית | מה ביקורת עוינת יכולה לגרום, במקרה הגרוע |
|---|---|
| המודל מנסח טיוטה, ואתה מדביק אותה בעצמך | טיוטה מוזרה, שתראה לפני שתפרסם |
| אוטומציה שבה המודל רק כותב, והתשובה מתפרסמת לבד | תשובה פומבית אחת, מביכה או שגויה, בשם העסק שלך |
| סוכן שמחובר לפרופיל העסק עם כלים | בנוסף: שינוי שעות, טלפון וכתובת האתר, מחיקת תשובות, הזמנת מנהל נוסף |
| סוכן שרץ על המחשב שלך, עם גישה לקבצים ולהרצת פקודות | בנוסף: כל מה שהסוכן מסוגל לעשות במחשב הזה |
שתי השורות התחתונות מתארות מה שהכלים מאפשרים לפי התיעוד שלהם. לא ראינו מי שהדגים התקפה כזאת דרך ביקורת.
שלושה דברים שכדאי לדעת:
- ההרשאה של גוגל היא הכול או כלום. אין הרשאה של "ביקורות בלבד". אותו מפתח שמפרסם תשובה יכול גם לערוך את פרטי העסק, למחוק תשובות ולהזמין מנהלים נוספים, לפי התיעוד של גוגל. לכן השאלה היא כמה מהכוח הזה העברת למודל.
- "מפרסם לבד רק ל-4 ו-5 כוכבים" זו לא הגנה. את מספר הכוכבים בוחר מי שכותב את הביקורת. מי שרוצה לנסות לתמרן את הבוט פשוט ייתן 5 כוכבים.
- ביטול בקשות האישור מבטל את קו ההגנה האחרון. על המצב שבו Claude Code כמעט לא שואל לפני פעולות, Anthropic עצמה כותבת שהוא לא מגן מפני הזרקת הוראות.
חמש שאלות על האוטומציה שלך
- איפה היא רצה? על המחשב האישי שלך, עם הקבצים והחשבונות שלך, או על שרת נפרד שאין בו שום דבר אחר.
- מה המודל יכול לעשות חוץ מלהחזיר טקסט? אם יש לו כלים, כמו עריכת הפרופיל, מחיקה, גישה לקבצים או דפדפן, כל אחד מהם זמין גם למי שכתב את הביקורת, אם יצליח לשכנע את המודל.
- מי מפרסם בפועל? הכי בטוח שהמודל רק מחזיר טקסט, וקוד רגיל שכתבת הוא ששולח אותו לגוגל. לא המודל.
- האם אדם רואה את התשובה לפני שהיא עולה? אם לא, מה בודק אותה? בדיקה בקוד (יש קישור? יש מספר טלפון שאינו שלי? יש הבטחה להנחה?) שווה יותר מעוד משפט בהנחיות למודל.
- מה יש בהנחיות שהמודל מקבל? כל מה שכתוב שם עלול להופיע בתשובה פומבית. מפתחות, סיסמאות ופרטים של לקוחות אחרים לא צריכים להיות שם.
אם התשובות הן "על שרת נפרד", "רק מחזיר טקסט", "הקוד שלי מפרסם" ו"אני מאשר", הבנייה שלך בסדר. הסיכון הגרוע שנשאר הוא תשובה מוזרה שתדחה. אם התשובות הן "על המחשב שלי", "יש לו גישה להכול" ו"הוא מאשר לעצמו", שווה לעצור ולצמצם.
איך פתרנו את זה אצלנו
הסוכן שלנו בנוי לפי התשובות הבטוחות לחמש השאלות:
- הבינה המלאכותית רק מנסחת תשובה. היא לא יכולה למחוק, לשנות פרטים בפרופיל או לשלוח הודעות.
- שום דבר לא מותקן אצלך ולא רץ על המחשב שלך. ההתחברות היא דרך גוגל, בלי סיסמה.
- במצב הידני, שום תשובה לא מתפרסמת בלי האישור שלך. אתה רואה כל תשובה בטלגרם ומאשר.
- במצב האוטומטי התשובה עוברת בדיקות קבועות לפני הפרסום, ותשובה שנכשלת מגיעה אליך לאישור. למשל כשיש בה קישור או טלפון שאינם שלך, כשהיא מזכירה כסף או מבצע, או כשהביקורת עצמה נראית כמו הוראה.
אנחנו לא אומרים שזה חסין. אף מערכת בינה מלאכותית לא יכולה להבטיח את זה, ומי שמבטיח צריך לעורר חשד. מה שעשינו הוא להגביל מראש את מה שביקורת עוינת יכולה לגרום: לכל היותר ניסוח של תשובה אחת, וגם היא עוברת בדיקה או אישור.