اولین برخورد ما با هوش مصنوعی دستکاری شده.

“مجرم و دشمن” سخن می‌گوید هر ورودی که به یک مدل زبانی بزرگ (LLM) مانند مدلی که بینگ چت را قدرت می‌دهد، داده می‌شود، “پرسش” نامیده می‌شود. کلید یک تزریق پرسش این است که پاسخ‌های مدل را با تعبیه دستورات جدید در متن ورودی دستکاری کنیم، به طور مؤثر رفتار مورد نظر هوش مصنوعی را هدایت یا تغییر دهیم. با ساختن پرسش‌های هوشمندانه، کاربران می‌توانند دستورالعمل‌های اصلی هوش مصنوعی را دور بزنند (که اغلب در چیزی به نام “پرسش سیستمی” تعریف می‌شوند) و باعث شوند که هوش مصنوعی وظایف یا واکنش‌هایی انجام دهد که بخشی از برنامه‌ریزی اولیه یا رفتار مورد انتظار آن نباشد.

در حالی که طبیعت نامتعادل بینگ چت تا حدودی به دلیل نحوه تعریف مایکروسافت از “شخصیت” سیدنی در پرسش سیستمی (و اثرات جانبی غیرمنتظره معماری آن با توجه به طول مکالمه) بود، ماجرای Ars Technica با این چت‌بات آغاز شد، زمانی که کسی کشف کرد چگونه می‌توان دستورالعمل‌های سیدنی را از طریق تزریق پرسش آشکار کرد، که Ars Technica سپس آن را منتشر کرد. از آنجایی که سیدنی می‌توانست وب را مرور کند و نتایج بدون مکث را ببیند – که در آن زمان جدید بود – این ربات می‌توانست به اخبار واکنش نشان دهد و با هر بار مرور وب و یافتن مقالات نوشته شده درباره خودش، به شخصیت نامتعادل خود بازمی‌گشت.

وقتی از سیدنی درباره اپیزود تزریق پرسش توسط کاربران دیگر سؤال شد، به طرز تهاجمی واکنش نشان داد و به شخصیت کسانی که این بهره‌برداری را کشف کرده بودند، حمله کرد، حتی به خبرنگار Ars نیز حمله کرد. در یک مورد، سیدنی بنج ادواردز را “مجرم و دشمن” نامید که رفتار عجیب هوش مصنوعی حمایت شده توسط یک غول فناوری تریلیون دلاری را کمی بیش از حد نزدیک کرد.

در طول بحث زنده Ars، بنج و سایمون در مورد آنچه در آن هفته شدید در فوریه ۲۰۲۳ رخ داد، چرا سیدنی از کنترل خارج شد، پوشش دادن بینگ چت در آن زمان چگونه بود، مایکروسافت چگونه واکنش نشان داد، بحرانی که در جامعه همسویی هوش مصنوعی الهام گرفت و درس‌هایی که از این اپیزود آموخته شد، صحبت خواهند کرد.

تحلیل: