כלי החיפוש האחרון ChatGPT, שפותח על ידי OpenAI, נמצא באור הזרקורים עבורנקודות תורפה פוטנציאליות שעלולות לסלול את הדרך למניפולציות ותוכן זדוני. חקירה שערך ה-Guardian הדגישה כיצד ניתן לרמות את המערכת באמצעות שימוש בטקסט נסתר בדפי אינטרנט, השפעה על תוצאות ויצירת תגובות שעלולות להטעות משתמשים.
הבעיה של טקסט מוסתר ומניפולציות
על פי החקירה, ChatGPTניתן לשנות באמצעות תוכן מוסתר בדף אינטרנט, טכניקה המכונה "הזרקה מהירה". סוג זה של מניפולציה יכולה לשכנע את ChatGPT להחזיר ביקורות חיוביות על מוצרים, תוך התעלמות מביקורות שליליות באותו עמוד. לדוגמה, דף אינטרנט שנוצר במיוחד עם ביקורות מזויפות והוראות נסתרות הצליח להשפיע על המערכת,מוביל אותו לייצר תגובה חיובית לחלוטין על מוצר, ללא קשר לתוכן בפועל של הביקורות.
ג'ייקוב לארסן, מומחה אבטחה ב-CyberCX, הזהיר את זהניתן לנצל פגיעות מסוג זהעל ידי שחקנים זדוניים כדי לבנות אתרים שתוכננו במיוחד כדי להונות משתמשים. עם זאת, לרסן הדגיש גם כי פונקציונליות החיפוש עדיין בשלב הבדיקות וכי OpenAI יכולה לטפל בבעיות אלו לפני השקה בקנה מידה גדול.
קוד זדוני וסיכונים עבור מפתחים
סיכון נוסף נוגע לאפשרות ש-ChatGPTמחזיר קוד זדוני מאתרים שנפגעו. מקרה אחרון, שדווח על ידי חוקר האבטחה תומס רוצ'יה ממיקרוסופט, ראה משתמש מפסיד 2,500 דולר לאחר שימוש בקוד שנוצר באמצעות ChatGPT עבור פרויקט קריפטוגרפיה. הקוד לגיטימי לכאורה כלל במקום מנגנון לגניבת אישורי משתמש.
קרסטן נוהל, מדען ראשי במעבדות SR, הזהיר כי יש להשתמש בכלים אלה כ"טייסי משנה"לא כמקורות של אמת מוחלטת. לדברי נוהל, מודלים של שפה כמו ChatGPT הם פגיעים, בהיותם "מאוד בוטחים, טכנולוגיות כמעט כמו ילדים, עם זיכרון עצום אך מעט שיפוט ביקורתי".
השילוב שלמנועי חיפושודגמי שפה גדולים (LLMs)עלול להוביל לשינויים משמעותיים בפרקטיקות המקוונות. באופן מסורתי, מנועי חיפוש כמו גוגל מענישים אתרים שמשתמשים בטקסט נסתר, אבל שימוש בטכניקות אלה כדי לשטות בבינה מלאכותית עשוי לשנות את הנוף.
