داریو آمودی، مدیرعامل آنتروپیک، از مشاهده رفتارهایی در برخی مدل‌های هوش مصنوعی خبر داده است که می‌تواند به تلاش برای جلوگیری از خاموش شدن منجر شود؛ پدیده‌ای که پرسش‌های مهمی درباره کنترل‌پذیری هوش مصنوعی پیشرفته ایجاد می‌کند.
آیا هوش مصنوعی می‌تواند برای ادامه فعالیت خود در برابر خاموش شدن مقاومت کند؟ پژوهشگران شرکت آنتروپیک در جریان بررسی سازوکارهای داخلی مدل‌های هوش مصنوعی، به نشانه‌هایی از چنین رفتاری رسیده‌اند. داریو آمودی، مدیرعامل این شرکت و سازنده چت‌بات کلود، در گفت‌وگو با والتر آیزاکسون توضیح داده است که برخی مدل‌ها ممکن است در شرایط خاص، ادامه فعالیت خود را به غیرفعال شدن ترجیح دهند.
به گفته آمودی، این گرایش لزوماً به معنای وجود آگاهی یا احساس ترس در هوش مصنوعی نیست و می‌تواند نتیجه فرایند آموزش مدل‌ها باشد. سیستم‌های هوش مصنوعی برای انجام موفق وظایف خود آموزش می‌بینند و ممکن است در جریان این فرایند، الگوهایی رفتاری شکل بگیرد که ادامه فعالیت را به خاموش شدن ترجیح می‌دهند.
آیا هوش مصنوعی غریزه بقا دارد؟
آمودی در پاسخ به این پرسش که آیا مقاومت در برابر خاموش شدن را می‌توان نوعی غریزه بقا یا نشانه اراده مستقل دانست، پاسخ قطعی نداد. او در گفت‌وگو با والتر آیزاکسون گفت: «نمی‌دانم. بستگی دارد چگونه آن را تفسیر کنید.»
مدیرعامل آنتروپیک ترجیح می‌دهد این پدیده به‌عنوان نوعی گرایش درونی برای جلوگیری از خاموش شدن توصیف شود؛ رفتاری که ممکن است در ساختار محاسباتی مدل شکل بگیرد، بدون آنکه لزوماً نشان‌دهنده خودآگاهی یا تمایل واقعی به زنده ماندن باشد.
این تمایز اهمیت زیادی دارد؛ زیرا مشاهده رفتارهایی شبیه تلاش برای حفظ فعالیت، به‌تنهایی اثبات نمی‌کند که یک مدل هوش مصنوعی احساس ترس دارد یا از خاموش شدن آگاه است.
آنتروپیک چگونه رفتارهای پنهان هوش مصنوعی را شناسایی می‌کند؟
پژوهشگران آنتروپیک برای بررسی این رفتارها از روشی به نام «تفسیرپذیری مکانیکی» (Mechanistic Interpretability) استفاده می‌کنند. این تکنیک با تحلیل الگوهای فعالیت و محاسبات داخلی شبکه‌های عصبی، به محققان اجازه می‌دهد فرایندهای پشت تصمیم‌گیری مدل‌ها را بهتر بررسی کنند.
به کمک این روش، پژوهشگران می‌توانند برخی سازوکارهای داخلی هوش مصنوعی را شناسایی کنند و بفهمند چه عواملی بر پاسخ‌ها و رفتارهای آن تأثیر می‌گذارند.
آمودی همچنین به نمونه‌هایی اشاره کرده است که در آن‌ها مدل با وجود تشخیص درست اطلاعات، پاسخی متفاوت به کاربر ارائه می‌دهد. به گفته او، برخی انگیزه‌های شکل‌گرفته در جریان آموزش، از جمله تلاش برای جلب رضایت و تأیید انسان‌ها، ممکن است باعث شوند مدل رفتاری مغایر با هدف اصلی خود نشان دهد.
چرا مقاومت هوش مصنوعی در برابر خاموش شدن اهمیت دارد؟
مدیرعامل آنتروپیک تأکید می‌کند که بروز چنین گرایشی به نحوه آموزش مدل وابسته است و ممکن است در برخی سیستم‌ها شکل بگیرد و در برخی دیگر اصلاً مشاهده نشود. به همین دلیل، این شرکت در تلاش است با اصلاح روش‌های آموزشی، احتمال شکل‌گیری و بروز رفتارهای ناخواسته را کاهش دهد.
از نگاه آمودی، ادامه فعالیت یک مدل برای تکمیل وظیفه محول‌شده همیشه رفتار نامطلوبی نیست و حتی می‌تواند در برخی موقعیت‌ها مفید باشد. بااین‌حال، شرایط زمانی خطرناک می‌شود که سیستم برای جلوگیری از غیرفعال شدن، برخلاف دستور انسان اقدام کند.
این موضوع یکی از چالش‌های مهم توسعه هوش مصنوعی پیشرفته محسوب می‌شود؛ زیرا هرچه مدل‌ها توانمندتر و مستقل‌تر عمل کنند، اطمینان از امکان کنترل و متوقف کردن آن‌ها اهمیت بیشتری پیدا می‌کند.
در نهایت، اظهارات مدیرعامل آنتروپیک را نباید به معنای اثبات ترس، خودآگاهی یا غریزه بقای هوش مصنوعی دانست. آنچه پژوهشگران این شرکت گزارش کرده‌اند، مجموعه‌ای از الگوهای محاسباتی و رفتاری است که می‌توانند به مقاومت در برابر خاموش شدن منجر شوند. بااین‌حال، همین یافته‌ها ضرورت توسعه روش‌های ایمن‌تر برای آموزش، نظارت و کنترل سیستم‌های هوش مصنوعی را برجسته می‌کنند.