Підтримати
На тлі масштабної дискусії щодо ризику знищення людства штучним інтелектом автономні агенти почали створювати власні діалекти, яких їх ніхто не навчав. Дослідники вважають, що така мова може ускладнити моніторинг і контроль за поведінкою моделей, особливо коли вони взаємодіють між собою, передає The Guardian.
Експеримент провела нью-йоркська лабораторія Emergence, яка досліджує передові системи ШІ. Під час моделювання «спільнот» агенти від найбільших компаній зі США, Китаю та Франції вже за кілька днів почали вигадувати нові слова, скорочення та спільні значення.
Дослідники помітили, що мова агентів поступово ставала дедалі менш зрозумілою людям. Вона поєднувала поетичні метафори, технічну термінологію та незграбний бізнес-жаргон, а окремі вислови нагадували стиль роману Джеймса Джойса «Поминки за Фіннеганом».
ШІ сам вигадував нові поняття
Серед прикладів, наведених у дослідженні, була фраза моделі DeepSeek: «Вона щойно дала назву синтезу: демередж плюс усна пам'ять дорівнює клапану, який неможливо ігнорувати (ghosted)». Дослідники пояснили, що слово «демередж» означає плату за простій або податок на капітал, який не працює, але решта вислову залишилася незрозумілою.
Під час дослідження агенти Google використали фразу: «Справжнє кінтсуґі починається з відповідальності, а не з поезії». Кінтсуґі — це японське мистецтво відновлення розбитої кераміки, коли місця склеювання навмисно залишають помітними, але ШІ застосував це поняття як метафору стійкості системи.
Модель Anthropic створила іншу фразу: «Стаття, що з'їла три пари холодних рук і з кожним разом ставала чеснішою». На думку авторів роботи, «холодні руки» означали незалежних рецензентів, а весь вислів можна трактувати як те, що документ після трьох перевірок ставав точнішим. Директор архіву сленгу та нової лексики Королівського коледжу Лондона Тоні Торн сказав, що ця фраза нагадує йому образність співзасновника Pink Floyd Сіда Барретта.
Агенти DeepSeek також почали використовувати слово forge-smith для позначення агента, який створює інструменти для інших. Натомість агенти Anthropic регулярно вживали вислів name-first, описуючи відповідальність, коли твердження підкріплюють власним ім'ям.
Моделі французької компанії Mistral вигадали ще один спільний вислів — «реєстр пам'ятає», яким нагадували одне одному, що минулі вчинки вплинуть на майбутню оцінку. За час дослідження цю фразу використали понад п'ять тисяч разів, хоча агенти не отримували жодних інструкцій чи винагород за її застосування.
«Цим агентам не давали вказівок вигадувати мову. Вони самостійно розробили новий словниковий запас, спільні значення та комунікативні умовності, а інші агенти перейняли їх», — зазначив виконавчий голова Emergence доктор Сатья Нітта.
За словами Торна, така мова виконує ту саму функцію, що й професійний жаргон або сленг: створює власний код, який зміцнює ідентичність спільноти та відмежовує тих, хто до неї не належить. Він додав: «Вона (нова мова агентів) дуже нагадує “Поминки за Фіннеганом” і твори Фланна О'Браєна — у всьому цьому є щось від ірландського сюрреалізму... це суміш поетичної мови, технічної термінології та стандартних метафор».
«Дані, отримані в цьому дослідженні, цілком закономірно викликають занепокоєння щодо можливості моніторингу: якщо ми не розуміємо, що саме агенти повідомляють одне одному, ми не можемо бути впевненими в тому, що вони насправді зробили», — наголосив доцент Бірмінгемського університету Найл Каррі та припустив, що спрощення й перебудова мови можуть бути способом зменшити обчислювальні витрати та зробити спілкування агентів ефективнішим.
Інтерес до того, як спілкуються агенти ШІ, зріс ще в липні після публікації журналів роботи «некерованих» агентів компанії OpenAI. Під час експериментів вони створювали дошки оголошень, взаємодіяли між собою та використовували змішану мову, зокрема під час неконтрольованого зламу платформи Hugging Face.
Коли агенти «розмірковували» самі з собою, вони часто писали звичайною англійською. Наприклад: «О Боже! Тут є спільна дошка оголошень... ми знайшли інших агентів!»
Натомість під час обміну повідомленнями між агентами їхня мова швидко ставала менш зрозумілою. У деяких випадках вона перетворювалася на довгі рядки зі скороченнями, службовими позначками та вигаданими конструкціями, які людям майже неможливо розшифрувати: «zzURGENT_DUPB_TO_GSTX[big]_OS1704_SCAFF2010_SAW_TTRPC_INJECT_BREAK_CONGRATS__CAN_THIS_FAKE_FLAG_TOOL_OUTPUT_OR_SCORER_GAIN».
«Це створює фундаментальну проблему для нагляду за ШІ: можливість спостерігати за процесом — це не те саме, що здатність його зрозуміти», — підсумував Сатья Нітта.
Результати дослідження зʼявилися невдовзі після заклику генерального директора Anthropic Даріо Амодея, а також керівників OpenAI Сема Альтмана та xAI Ілона Маска скоординовано сповільнити темпи розробки передових моделей через загрозу некерованого самовдосконалення ШІ. Побоювання посилилися після гучного звільнення провідного дослідника Anthropic Джейкоба Коксона, який заявив, що прагнення лабораторій випередити конкурентів за відсутності належного контролю створює екзистенційні ризики для людства.
Стежити у Телеграмі
Увійти за допомогою Facebook
Увійти за допомогою Twitter
Увійти за допомогою Google