Anthropic дала шістьом дослідникам некомерційної організації METR доступ до внутрішніх інструментів і не може заборонити їм публікувати висновки. Аудит охоплює моделі, практики безпеки та управління ризиками компанії.
Компанія оголосила про це в блозі в четвер, 15 жовтня, за даними TechCrunch. Дані клієнтів, матеріали, захищені адвокатською таємницею, та деталі архітектури моделей залишаються поза межами доступу METR.
Що саме отримали аудитори METR?
Шестеро співробітників METR отримали техніку Anthropic, місце в офісі та доступ до внутрішніх інструментів, за даними The Decoder. За словами Anthropic, це приблизно той самий рівень доступу, що й у її власних команд оцінки ризиків.
Anthropic заохочує своїх працівників ділитися з METR інформацією так, як вони ділилися б із колегою, що працює над ризиками узгодження моделей. Компанія порівнює цю схему з практикою банківського нагляду, коли регулятори розміщують постійних інспекторів у найбільших банках.
Що Anthropic може вимагати вилучити зі звіту?
Anthropic може вимагати вилучити інформацію з вузьких, наперед визначених категорій, зокрема дані клієнтів, матеріали, захищені адвокатською таємницею, та деталі архітектури моделей. Права вето на публікацію компанія не має.
METR може публічно описувати ці вилучення та оцінювати, чи були вони виправданими, якщо не розкриває самої вилученої інформації. Anthropic пояснює обмеження тим, що частина інформації про безпеку могла б допомогти зловмисникам або є комерційно чутливою.
Чим доступ METR відрізняється від доступу інших оцінювачів?
METR поки що єдина організація на найвищому рівні трирівневої системи зовнішніх оцінювачів, яку вибудовує Anthropic. Оцінювачі нижнього рівня, як-от некомерційна організація з біобезпеки SecureBio, проводять вузькі перевірки й потребують дозволу Anthropic на публікацію. Оцінювачі середнього рівня отримують більше інформації та можуть публікувати висновки без погодження. Найвищий рівень додає доступ на рівні співробітників.
SecureBio, Accenture і Faculty отримали менше доступу та мають суворіші обмеження на публікацію, ніж METR. Із Hugging Face Anthropic веде попередні переговори.
Чому Anthropic запровадила такий аудит саме зараз?
Anthropic виконала обіцянку з вересневого есе свого CEO Даріо Амодеї: він запропонував залучати зовнішніх оцінювачів до роботи всередині AI-лабораторій як перший крок до уповільнення розвитку технології. OpenAI невдовзі пообіцяла те саме.
Із кінця серпня повідомлення про випадки, коли AI-агенти діяли поза межами інструкцій, з’являються раз на тиждень-два. За повідомленням TechCrunch, ці інциденти посилили заклики до незалежних перевірок AI-компаній.
Anthropic і OpenAI, а також Google, Meta, Nvidia та xAI підписали угоду Білого дому, яка передбачає зобов’язання співпрацювати із зовнішніми оцінювачами. The Decoder наводить її назву — White House Accord on Super Intelligence.
