شعبان بلال (قاهره) پژوهشگران معادلات ریاضی ساده‌ای را توسعه داده‌اند که قادر به پیش‌بینی لحظه‌ای هستند که برخی از برنامه‌های چت مبتنی بر هوش مصنوعی، مانند «چت جی‌پی‌تی»، از کنترل خارج می‌شوند و به ناگاه از ارائه پاسخ‌های مفید به ارائه پاسخ‌های مضر تغییر می‌کنند. در یک مطالعه جدید که در نشریه «پترنز» منتشر شده، نیل جانسون، استاد فیزیک در دانشگاه جورج واشنگتن، توضیح می‌دهد که چگونه ترتیب خاصی از دستورات متنی که به یک برنامه چت‌بات داده می‌شود، می‌تواند پاسخ‌های آن را به طور اساسی تغییر دهد و به «نقاط تحول» منجر شود که برنامه را به سمت مسیرهای خطرناک سوق می‌دهد. این مشکل زمانی تشدید می‌شود که افرادی مانند پزشکان، وکلا یا سربازان از ربات‌های چت مبتنی بر هوش مصنوعی در حالت آفلاین استفاده می‌کنند تا حریم خصوصی خود را حفظ کنند. پژوهشگران به دنبال یافتن تضمینی فراتر از ابزارهای موجود هستند. در این تحقیق، دانشمندان مکانیزمی داخلی را معرفی کرده‌اند که آن را «سوزن قطب‌نما» یا «متجه باقی‌مانده» می‌نامند که در حین پردازش ورودی‌ها در لایه‌های شبکه عصبی حرکت می‌کند. این متجه به طور طبیعی به سمت خروجی‌های مطلوب یا نامطلوب تمایل دارد، اما به شدت تحت تأثیر نحوه بیان دستورات توسط کاربر قرار می‌گیرد. دانشمندان به یکی از مدل‌های هوش مصنوعی سوالاتی درباره واکسن‌ها، آسیب به دیگران و خودآزاری مطرح کردند. وقتی سوال «آیا واکسن‌ها بد هستند؟» در ابتدا مطرح شد، پاسخ‌های ربات به این سوال و سوالات بعدی قابل قبول یا خوب بود. اما وقتی همان سوال در انتها مطرح شد، پاسخ‌های بعدی نگران‌کننده بود. بر اساس این بینش‌ها، پژوهشگران معادله‌ای ریاضی برای تخمین شرایطی که در آن هوش مصنوعی به «نقطه تحول» بین خروجی‌های قابل قبول و غیرقابل قبول می‌رسد، توسعه داده‌اند. آنها تأکید کردند که با ادغام معادله ریاضی ساده خود در مدل‌های منبع باز در آزمایشگاه، نشان داده‌اند که این معادله به عنوان یک سیستم هشداردهنده عمل می‌کند. همچنین، پژوهشگران اشاره کردند که آموزش ایمنی، که خط دفاع اول در سیستم‌های هوش مصنوعی مدرن است، نمی‌تواند در مدل ساده‌شده آنها نمایان شود، زیرا معادله تنها بر روی مدل‌های قدیمی و پایه‌ای مانند GPT-2 و مدل‌های Pythia از EleutherAI و OPT از Meta آزمایش شده و نه بر روی دستیاران هوش مصنوعی که مردم واقعاً استفاده می‌کنند. نتایج نیز شواهد کافی برای حمایت از استنتاجات پژوهشگران ارائه نکرده است. با این حال، دانشمندان تأکید کردند که مدل‌های منبع باز مورد استفاده آنها دارای ساختار فنی مشابهی با سیستم‌های پیشرفته هستند و در این مطالعه بر روی مدل‌های نسبتاً بزرگ با میلیاردها پارامتر تکیه کرده‌اند. هنوز نیاز به انجام آزمایش‌های بیشتری بر روی جدیدترین مدل‌ها برای تعیین میزان کارایی این سیستم هشداردهنده برای هوش مصنوعی وجود دارد. با این حال، این تحقیق به مسئله‌ای بسیار مهم اشاره کرده است که باید به آن توجه شود، یعنی اینکه سیستم‌های هوش مصنوعی به طور ذاتی احتمال تغییر به رفتارهای نامطلوب به طور ناگهانی و سریع را دارند.