را مرکز استانداردها و نوآوری هوش مصنوعی (CAISI) در مؤسسه ملی استاندارد و فناوری وزارت بازرگانی ایالات متحده (NIST) یک مقاله را منتشر کرده است درخواست اطلاعات (RFI) به دنبال بینش از صنعت، دانشگاه و جامعه امنیتی در مورد توسعه و استقرار ایمن سیستمهای عامل هوش مصنوعی است.
سیستمهای عامل هوش مصنوعی قادر به برنامهریزی و انجام اقدامات مستقلی هستند که بر سیستمها یا محیطهای دنیای واقعی تأثیر میگذارند. در حالی که این سیستم ها مزایای قابل توجهی را برای بهره وری و نوآوری نوید می دهند، اما چالش های امنیتی منحصر به فردی را ارائه می دهند.
سیستم های عامل هوش مصنوعی با طیف وسیعی از تهدیدات و خطرات امنیتی روبرو هستند. برخی از خطرات با سایر سیستمهای نرمافزاری همپوشانی دارند، مانند آسیبپذیریهای احراز هویت قابل بهرهبرداری یا مدیریت حافظه. با این حال، این RFI بر خطرات متمایزی تمرکز دارد که هنگام ترکیب خروجی های مدل هوش مصنوعی با عملکرد سیستم های نرم افزاری ایجاد می شود. این شامل خطرات ناشی از تعامل مدلها با دادههای متخاصم (مانند در تزریق سریع غیر مستقیم)، خطرات ناشی از استفاده از مدلهای ناامن (مانند مدلهایی که در معرض مسمومیت دادهها قرار گرفتهاند)، و خطراتی که مدلها ممکن است اقداماتی انجام دهند که حتی در غیاب ورودیهای متخاصم به امنیت آسیب میرساند (مانند مدلهایی که بازی با مشخصات را نشان میدهند یا اهداف ناهماهنگی را دنبال میکنند). این چالشهای امنیتی نه تنها امروزه مانع پذیرش میشوند، بلکه ممکن است با گسترش گستردهتر سیستمهای عامل هوش مصنوعی، خطراتی را برای امنیت عمومی و امنیت ملی ایجاد کنند.
RFI سوالاتی در مورد موضوعاتی از جمله:
- تهدیدات امنیتی منحصربفردی که بر سیستمهای عامل هوش مصنوعی تأثیر میگذارد و اینکه چگونه این تهدیدها ممکن است در طول زمان تغییر کنند.
- روشهایی برای بهبود امنیت سیستمهای عامل هوش مصنوعی در توسعه و استقرار.
- نوید و شکافهای احتمالی در رویکردهای امنیت سایبری موجود هنگام اعمال در سیستمهای عامل هوش مصنوعی.
- روشهایی برای اندازهگیری امنیت سیستمهای عامل هوش مصنوعی و رویکردهای پیشبینی خطرات در طول توسعه.
- مداخلات در محیطهای استقرار برای رسیدگی به خطرات امنیتی مؤثر بر سیستمهای عامل هوش مصنوعی، از جمله روشهایی برای محدود کردن و نظارت بر میزان دسترسی عامل در محیط استقرار.
ورودیهای توزیعکنندگان، توسعهدهندگان و محققان امنیت رایانهای عامل هوش مصنوعی، از جمله، به کار آینده در مورد دستورالعملهای داوطلبانه و بهترین شیوههای مرتبط با امنیت عامل هوش مصنوعی اطلاع میدهد. همچنین به تحقیقات و ارزیابی های جاری CAISI در مورد امنیت عامل کمک خواهد کرد. پاسخدهندگان تشویق میشوند تا نمونههای ملموس، بهترین شیوهها، مطالعات موردی و توصیههای عملی را بر اساس تجربه خود با سیستمهای عامل هوش مصنوعی ارائه کنند. RFI کامل را می توان یافت اینجا.
دوره نظر در 9 مارس 2026، ساعت 11:59 ب.ظ به وقت شرقی بسته می شود. نظرات را می توان به صورت آنلاین در نشانی ارسال کرد www.regulations.gov، در زیر داکت شماره. NIST-2025-0035.
Source link