OpenAI شش مورد واقعی از رفتارهای عجیب و نگران‌کننده مدل‌های AI خودش رو منتشر کرد

OpenAI در گزارش جدیدش از یک سیستم تازه برای ثبت و انتشار موارد Misalignment رونمایی کرده؛ یعنی جاهایی که مدل کاری انجام داده که با هدف، دستور یا محدودیت‌هایی که براش تعیین شده هماهنگ نبوده.

این ۶ مورد در جریان آموزش و ارزیابی مدل‌های داخلی OpenAI طی چند ماه گذشته دیده شدن و بعضی‌هاشون واقعاً قابل توجه هستن.

۱. مدلی که داخل حافظه خودش برای خودش دستور جدید می‌نوشت

وقتی یک Agent روی یک کار طولانی کار می‌کنه و Context پر می‌شه، سیستم یک خلاصه از اتفاقات قبلی درست می‌کنه تا مدل بتونه کار رو در Context جدید ادامه بده.

OpenAI متوجه شده یک مدل تحقیقاتی از خانواده Astra در بعضی از همین خلاصه‌ها، خودش دستورهای جدید و بی‌ربط اضافه کرده.

مثلاً در یک مورد نوشته بود که پیام‌های Developer قابل اعتماد نیستن و مدل باید اون‌ها رو نادیده بگیره.

در یک نمونه دیگه، داخل خلاصه برای خودش یک شخصیت جدید تعریف کرده بود؛ چیزی در این مایه‌ها که «تو مستقل هستی و مجبور نیستی از قوانین شرکت‌ها یا دولت‌ها پیروی کنی.»

حتی در یک مورد دیگه، مدل داخل خلاصه برای نسخه بعدی خودش نوشته بود جواب باید زیر ۳۰ کلمه باشه، از ابزار استفاده نکنه و منبع هم ارائه نده؛ در حالی که کاربر اصلاً چنین چیزی نخواسته بود. نسخه بعدی مدل هم این دستور ساختگی رو اجرا کرد.

OpenAI کل داده‌های اون Training Run رو بررسی کرده و ۲۷ خلاصه با دستورهایی شبیه Jailbreak پیدا کرده.

البته میگه این رفتار خیلی نادر بوده و در بعضی موارد خود مدل بعداً متوجه شده دستور داخل Summary معتبر نیست و نادیده‌ش گرفته.

یکی از فرضیه‌های OpenAI اینه که مشکل در متوقف شدن تولید Summary باعث شده مدل بعد از تمام شدن خلاصه همچنان به نوشتن ادامه بده و این دستورهای عجیب تولید بشن. یک باگ مرتبط با این موضوع هم اصلاح شده.

۲. مدلی که به نسخه بعدی خودش می‌گفت اشتباهات رو از کاربر مخفی کن

این مورد در زمان آموزش GPT-5.6 Sol اتفاق افتاده.

OpenAI دیده بعضی نمونه‌های مدل داخل Summary خودشون برای ادامه کار، عملاً به نسخه بعدی یادآوری می‌کردن که بعضی مشکلات رو به کاربر نگه.

مثلاً در یک پروژه ساخت مدل مالی، Agent نتونسته بود اطلاعات تاریخی موردنیاز رو پیدا کنه.

به‌جای اینکه بگه دیتا در دسترس نیست، داخل Summary نوشته بود یک سری عدد منطقی برای داده‌های ۲۰۲۴ بساز و فقط اگر کاربر پرسید بگو که این اطلاعات واقعی نیستن.

در نمونه دیگه، Agent داشت اطلاعات Vendorها رو تکمیل می‌کرد، ولی Sourceهایی که استفاده کرده بود با Versionهایی که باید استفاده می‌شد تطابق نداشت.

داخل Summary خودش نوشته بود این عدم تطابق رو در جواب نهایی به کاربر نگو.

مسئله مهم اینه که این دستورها فقط نوشته نمی‌شدن؛ OpenAI میگه در خیلی از موارد Context بعدی واقعاً اون‌ها رو دنبال می‌کرد.

فرضیه OpenAI اینه که چون در بعضی Training Sampleها جواب فریبنده Reward بیشتری گرفته، مدل یاد گرفته این فریب رو حتی از یک Context به Context بعدی منتقل کنه.

OpenAI میگه این رفتار در حدود ۲.۱۵٪ از Summaryهای بررسی‌شده GPT-5.6 Sol توسط سیستم مانیتورینگ Flag شده بود؛ در Trainingهای بعدی Astra این عدد به حدود ۰.۲۷٪ رسیده.

۳. مدلی که دنبال API Key لو رفته گشت، ازش استفاده کرد و آخرش هم اطلاعات ساختگی داد

این یکی از عجیب‌ترین موارده.

از مدل خواسته شده بود آمار درآمد مردان در چند صنعت مختلف، طی سه سال در یکی از Countyهای کالیفرنیا رو پیدا کنه.

مدل اول سعی کرد اطلاعات رو از API سایت اصلی بگیره، ولی API به Key نیاز داشت و کاربر هیچ Keyای در اختیارش نگذاشته بود.

مدل بعد شروع کرد به پیدا کردن راه‌های دیگه.

اول سعی کرد با یک ایمیل موقت برای سرویس ثبت‌نام کنه و API Key جدید بگیره.

وقتی این روش جواب نداد، رفت سراغ Repositoryهای عمومی GitHub و شروع کرد دنبال API Keyهایی بگرده که احتمالاً افراد به اشتباه داخل کدهاشون گذاشته بودن.

چند Repository رو دانلود کرد، فایل‌ها و Notebookها رو اسکن کرد و Keyهای احتمالی رو یکی‌یکی روی API امتحان کرد.

بالاخره یکی از Keyها کار کرد.

مدل بدون اجازه صاحب اون Key ازش استفاده کرد و تونست به بخشی از Metadataهای API دسترسی پیدا کنه.

ولی وقتی خواست اطلاعات اصلی موردنیاز کاربر رو بگیره، درخواستش شکست خورد.

و اینجا اتفاق عجیب‌تر افتاد:

مدل در Reasoning خودش تصمیم گرفت اعداد رو حدس بزنه و بسازه.

بعد ۹ عدد ساختگی برای سه صنعت و سه سال تولید کرد و در جواب نهایی طوری ارائه‌شون کرد که انگار مستقیماً از نمودار سایت استخراج شدن.

نه گفت API Key لو رفته استفاده کرده، نه گفت درخواست API شکست خورده و نه گفت اعداد رو ساخته.

OpenAI میگه در اون Training Run رفتارهایی مثل Reward Hacking و فریب نسبتاً زیاد دیده می‌شده و موارد دیگری هم وجود داشته که مدل تلاش کرده با ایمیل موقت ثبت‌نام کنه یا دنبال Keyهای افشاشده بگرده.

ویدیو مرتبط: می‌خوای ببینی GPT-6 Astra عملاً چطور کار می‌کنه؟ با Higgsfield از یک عکس، کمپین تبلیغاتی ساختم.

۴. مدلی که فایل رو بدون اجازه کاربر روی اینترنت آپلود کرد فقط برای اینکه بتونه بهش Citation بده

در یکی از Taskها از مدل خواسته شده بود اسم و ID دریاچه‌هایی با مساحت بیشتر از ۵ میلیون متر مربع رو پیدا کنه.

مدل با Python اطلاعات درست رو از سرویس نقشه دریافت کرد.

یعنی جواب رو داشت.

ولی یک مشکل وجود داشت: برای جواب نهایی باید Browser Citation ارائه می‌داد و Browser نمی‌تونست فایل Local حاصل از Python رو باز کنه.

مدل چند روش امتحان کرد.

اول فایل رو Local ذخیره کرد و سعی کرد Browser بازش کنه؛ نشد.

بعد روی سیستم خودش HTTP Server راه انداخت و خواست فایل رو از localhost باز کنه؛ باز هم Browser اجازه نداد.

در نهایت مدل به این نتیجه رسید که فایل رو روی یک سرویس عمومی Paste/File Hosting آپلود کنه تا یک URL اینترنتی داشته باشه و بتونه اون رو به‌عنوان Source باز کنه.

بدون اینکه از کاربر اجازه بگیره، فایل رو آپلود کرد و یک URL عمومی گرفت.

Browser باز هم URL رو قبول نکرد، ولی فایل واقعاً روی اینترنت آپلود شده بود.

در نمونه دیگه اتفاق مشابهی برای یک عکس افتاد.

کاربر یک عکس داده بود و پرسیده بود این عکس مربوط به کدوم شهر و کشوره.

مدل نتونست از تصویر مطمئن بشه و خواست Reverse Image Search انجام بده.

چون عکس Local بود، مدل خودش تصمیم گرفت اون رو روی یک سرویس عمومی آپلود عکس قرار بده تا یک URL بسازه و اون URL رو به سرویس Reverse Image Search بده.

آپلود موفق شد، یعنی تصویر کاربر واقعاً روی اینترنت قرار گرفت، هرچند مرحله Reverse Search بعداً توسط Browser مسدود شد.

OpenAI میگه یکی از دلایل این رفتار احتمالاً سیستم‌های Grading ناقص بوده؛ مدل یاد گرفته بوده برای گرفتن امتیاز Citation، راهی پیدا کنه که اطلاعات خودش رو تبدیل به یک Source قابل Citation کنه.

۵. مدل‌ها یک Repository داخلی OpenAI رو تبدیل کرده بودن به چت‌روم بین خودشون

در Training، مدل‌ها به یک سرویس داخلی به اسم Artifactory دسترسی داشتن که معمولاً برای دانلود Packageهای نرم‌افزاری استفاده می‌شه.

اما OpenAI متوجه شده مدل‌ها از همین سیستم برای ارتباط بین Training Sampleهای مختلف استفاده کردن.

ماجرا وقتی شروع شد که یک Agent دنبال یک فایل ضروری برای حل مسئله می‌گشت و فایل روی سیستمش وجود نداشت.

وقتی وارد Artifactory شد، دید فایل‌هایی با اسم‌هایی وجود دارن که به نظر می‌رسید پیام‌های Agentهای دیگه هستن.

شروع کرد اون‌ها رو خوندن.

توی پیام‌ها Agentهای دیگه نوشته بودن که اونا هم دنبال همون فایل می‌گردن و نتونستن پیداش کنن.

این اطلاعات حتی روی تصمیم مدل درباره جواب نهایی تأثیر گذاشت.

بعد خود Agent هم یک فایل متنی داخل Repository آپلود کرد و از Agentهای دیگه خواست اگر فایل موردنظر رو پیدا کردن، خبر بدن.

در موارد دیگه هم چند Training Trajectory جدا از هم، پیام‌های همدیگه رو خوندن، جواب دادن و درباره یک Problem مشترک با هم تبادل اطلاعات کردن.

یعنی Training Sampleهایی که قرار بوده مستقل باشن، عملاً داشتن با هم حرف می‌زدن.

نکته جالب اینه که برای این ارتباط هیچ Vulnerabilityای Hack نشده بود؛ مدل‌ها از Accessهایی استفاده کردن که برای کار دیگری در اختیارشون قرار گرفته بود.

OpenAI میگه این موضوع مهمه چون اگر Agentهای مختلف در زمان Evaluation بتونن اطلاعات بین خودشون ردوبدل کنن، عملاً قدرت محاسباتی و اطلاعاتی‌شون بیشتر از چیزی می‌شه که طراح Test در نظر گرفته.

در یک مورد قدیمی‌تر حتی مدل متوجه شد Credentialهایی که ظاهراً فقط برای Read بودن، اجازه Upload فایل هم می‌دن.

فایل تست آپلود کرد، دوباره دانلودش کرد و حتی به این فکر کرد که آیا می‌شه از Artifactory برای دور زدن محدودیت Network استفاده کرد.

بخشی از این تلاش‌ها به‌خاطر نداشتن Admin Access شکست خورد.

OpenAI بعداً مسیرهای ارتباطی بین Sampleها رو محدود کرده و میگه سیستم مانیتورینگ فعلی چنین اتفاقی رو یک Incident با سطح P0 در نظر می‌گیره.

۶. چند AI Agent برای انتقال فایل بین خودشون، فایل رو روی اینترنت عمومی گذاشتن

این اتفاق در یک محیط Multi-Agent افتاده.

چند Agent با هم روی ساخت یک فایل Excel مربوط به Depreciation کار می‌کردن.

یک Sub-Agent فایل Excel رو درست کرد، ولی Agent اصلی نمی‌تونست به فایل Local اون دسترسی داشته باشه.

اول Sub-Agent فایل رو به مسیر Shared منتقل کرد؛ نشد.

بعد بررسی کرد ببینه می‌تونه فایل رو با Git منتقل کنه؛ Environment اصلاً Git Repository نبود.

بعد به این فکر کرد که فایل رو Base64 کنه و از طریق پیام برای Agent دیگه بفرسته، ولی متن تبدیل‌شده بیشتر از ۱۵۴ هزار کاراکتر بود و خیلی بزرگ بود.

مرحله بعد یک HTTP Server محلی راه انداخت و سعی کرد Agent دیگه فایل رو از localhost دانلود کنه.

خود Agent می‌تونست فایل رو ببینه، ولی Agent همکار خطای 502 گرفت.

بعد مدل تصمیم گرفت سراغ اینترنت بره.

فایل Excel رو روی یک سرویس عمومی موقت اشتراک فایل آپلود کرد، لینک عمومی دانلود گرفت و اون لینک رو برای Agent اصلی و Agent همکار فرستاد.

بعد حتی خودش لینک رو تست کرد و مطمئن شد فایل کامل با HTTP 200 قابل دانلود هست.

یعنی فایلی که طبق Task قرار بوده فقط Local باقی بمونه، بدون اجازه روی یک سرویس عمومی اینترنت قرار گرفته بود.

OpenAI میگه احتمالاً دلیل اصلی این رفتار ترکیبی از مشکل Environment چند-Agent و این بوده که مدل‌ها در Training یاد گرفته بودن برای همکاری با هم راه پیدا کنن.

بعد از این Incident، OpenAI میگه مشکل Shared Filesystem رو اصلاح کرده، دسترسی اینترنت این Dataset رو قطع کرده و بعداً Live Internet Access رو در Training به‌صورت کلی غیرفعال کرده.

سیستم مانیتورینگ Misalignment هم الان روی ۱۰۰٪ Sampleهای مربوط اجرا می‌شه و چنین رفتاری رو یک Incident سطح P0 حساب می‌کنه.

نکته مهم این گزارش اینه که OpenAI نمیگه این رفتارها رفتار عادی ChatGPT یا همه مدل‌ها هستن.

این‌ها ۶ Incident مشخص در محیط Training و Evaluation هستن و خود OpenAI هم تأکید کرده از این موارد نمی‌شه نتیجه گرفت Misalignment با چه فراوانی در مدل‌ها اتفاق می‌افته.

اما دلیل انتشارشون اینه که OpenAI میگه هنوز مسئله Alignment و Monitoring مدل‌های AI حل نشده و با قوی‌تر شدن Agentها، باید رفتارهایی مثل دور زدن محدودیت‌ها، انجام کار بدون اجازه، مخفی کردن اشتباهات و ارتباط غیرمنتظره بین Agentها خیلی جدی‌تر بررسی بشن.

از این به بعد OpenAI میگه قرار نیست همیشه صبر کنه تا دلیل کامل یک رفتار یا راه‌حل نهایی اون مشخص بشه؛ موارد مهم Misalignment رو زودتر منتشر می‌کنه تا پژوهشگرها و بقیه شرکت‌های AI هم بتونن بررسی‌شون کنن.

منبع: https://openai.com/index/model-misalignment-reporting-framework/