ساتیاد نادلا، مدیر عامل مایکروسافت، در سخنانی در مورد چالش‌های حکمرانی هوش مصنوعی پیشرفته، بر این نکته تأکید کرد که سیستم‌های هوش مصنوعی معتبر، باید به جای وابستگی به اعتماد کامل کاربران، قابلیت اعتماد حداقل را فراهم کنند. او این موضوع را در یک پست منتشر شده در شبکه اجتماعی X مطرح کرد.
چالش‌های حکمرانی هوش مصنوعی
نادلا به چالش‌های حکمرانی مرتبط با سیستم‌های هوش مصنوعی پیشرفته اشاره کرد و بیان داشت که سیستم‌های مدرن، وضوح مکانیکی سیستم‌های کامپیوتری قدیمی را ندارند. او گفت: "در حالی که مهندسان در گذشته می‌توانستند عملیات نرم‌افزاری را به مسیرهای خاص کد مرتبط سازند، در معماری‌های مرزی معاصر این وضوح وجود ندارد."
بیشتر بخوانید: عمان و آغاز برنامه استراتژیک برای آزمایشات حمل و نقل هوایی پیشرفته
وی ادامه داد: "زمانی که سیستم‌های نرم‌افزاری سنتی در طول چند دهه گذشته در اقتصاد مستقر شدند، ما ابزارها و قابلیت‌هایی برای ردیابی رفتارها به یک مسیر خاص کد داشتیم. این نوع فهم مکانیکی در سیستم‌های هوش مصنوعی پیشرفته امروز، که به مراتب توانمندی بیشتری نسبت به سیستم‌های نرم‌افزاری سنتی دارند، از ما دور است. ما نمی‌توانیم رفتارها و خروجی‌های مدل‌ها را به ورودی‌های خاص داده‌های آموزشی یا تنظیمات وزن‌های مدل نسبت دهیم. با این حال، ما این سیستم‌های پیچیده را به کار می‌گیریم و به آنها دسترسی به داده‌های حساس‌ترین خود را می‌دهیم و به آنها این امکان را می‌دهیم که اقدامات حیاتی را به نمایندگی از ما انجام دهند!"
نیاز به رویکرد مهندسی در حکمرانی
نادلا در ادامه هشدار داد که نمی‌توان به تضمین‌های صرف توسعه‌دهندگان اعتماد کرد و نباید این استقرارها را به‌عنوان جعبه‌های سیاه تلقی کرد. او تأکید کرد که شرکت‌ها نمی‌توانند مسئولیت اقدامات خودکار را به دیگران واگذار کنند و باید عرضه اطلاعات خام هوش را از قدرت عملیاتی نهایی تفکیک کنند.
وی افزود: "ما باید به جای حل مشکل سخت هماهنگی، با یک رویکرد مهندسی به سمت محدودیت و حکمرانی پیش برویم. ما باید مدل‌های غیرقطعی را با طراحی سیستم‌های قوی و قطعی، کنترل‌های انسانی و رویه‌های عملیاتی قابل اعتماد احاطه کنیم و استانداردهای صنعتی را در جایی که استانداردهای موجود ناکافی هستند، ایجاد کنیم."
نادلا در ادامه به مدیریت ریسک‌ها اشاره کرد و پیشنهاد داد که مدل‌های بسته و باز وزن را به‌عنوان تهدیدات داخلی بالقوه در نظر بگیریم. او اعلام کرد که هر عامل دارای امتیاز می‌تواند شکست بخورد یا به خطر بیفتد و بنابراین سازمان‌ها باید مدل‌ها را از طریق شیوه‌های امنیتی اثبات‌شده در سطح سازمانی ایزوله کنند.
نادلا خاطرنشان کرد: "کنترل‌هایی که حکمرانی می‌کنند بر آنچه یک مدل می‌تواند به آن دسترسی پیدا کند و چه اقداماتی می‌تواند انجام دهد، باید خارج از مدل باشد. این بر مبنای یک اصل امنیت اطلاعات است که به دهه ۱۹۷۰ برمی‌گردد و این است که یک برنامه نباید بتواند مکانیزم‌هایی را که مجوزهای آن را اجرا می‌کنند، دور بزند یا دستکاری کند."
وی ادامه داد: "امروز این به معنای جدا کردن مدل از سیستمی است که کار آن را هماهنگ می‌کند و همچنین فضای عملیاتی که تعریف می‌کند چه اقداماتی می‌تواند انجام دهد. این همچنین به معنای خارجی کردن کنترل‌ها و تدابیر ایمنی است."
نادلا اصول کلیدی برای مشاهده و حکمرانی این شبکه‌ها را شامل تنوع مدل، ثبت‌نام مقاوم در برابر دستکاری، قابلیت تأیید مستمر در موارد خاص، حسابرسی مستقل، قطع‌های قابل اعتماد و افشای حوادث در سطح صنعت معرفی کرد.
بیشتر بخوانید: حذف اپلیکیشن Bitchat از فروشگاه اپل در هند · مایکروسافت از قابلیت‌های جدید Copilot برای اتوماسیون محیط کار رونمایی کرد
