Джеффри Хинтон требует, чтобы модели искусственного интеллекта оценивались до того, как они станут доступными. Возобновленная в ливанской прессе 10 ноября, его речь поднимает конкретный вопрос: кто решает, что модель может быть распространена, о каких доказательствах и с каким мониторингом тогда? Управление ИИ уже существует в нескольких формах, не образуя международную систему, к которой он призывает.
Эту позицию исследователь выражает в интервью британской прессе, опубликованном 3 ноября. Он критикует торговую гонку между крупными технологическими компаниями и опасения по поводу критических инцидентов в инфраструктуре. Тем не менее она сохраняет надежду на значительные выгоды. Его речь выступает за рамки развития, а не за общий отказ от технологий.
В докладе, опубликованном в Ливане, Хинтон предлагает создать международный орган, вдохновленный контролем над наркотиками. Компании должны предоставить доказательства для сравнения ожидаемых выгод и возможных убытков до маркетинга. Это предложение исследователя, а не объявление уже созданного учреждения.
Управление ИИ: что нужно проверить перед доступом?
Успешная демонстрация того, что модель может сделать в данной ситуации. Оценка безопасности также направлена на выявление ее неисправностей, неправильного использования и условий, при которых ее защита перестает функционировать. Эти цели требуют различных испытаний.
Система управления рисками Национального института стандартов и технологий США AI RMF 1.0 включает в себя тестирование перед развертыванием и регулярное использование. Она организует работу по вопросам управления, идентификации рисков, измерения и управления. Эта структура является инструментом управления, а не международным разрешением на маркетинг.
Его логика требует прояснения контекста. Ошибка в проекте текста и ошибочное действие в операционной системе не имеют одинаковых последствий. Таким образом, вопрос выходит за рамки оценки, полученной моделью на упражнении: он также фокусируется на людях, подвергшихся воздействию, доступных инструментах и решениях, которые может принять система.
В конкретных терминах следует использовать полезный тест для определения того, какой вариант был рассмотрен и при каких условиях. Модель, ограниченная текстовым производством, не имеет тех же возможностей, что и программный агент. Таким образом, периметр доступа является частью проблемы Хинтона.
Моделированные атаки для поиска неудач
Европейский регламент по искусственному интеллекту предусматривает ряд обязательств для поставщиков моделей общего назначения с системным риском. Статья 55 требует проведения оценок с использованием протоколов и инструментов, соответствующих уровню техники. В нем явно упоминаются состязательные тесты, которые стремятся поставить модель по умолчанию.
Текст также требует оценки и снижения системных рисков, документирования и сообщения о серьезных инцидентах без неоправданной задержки. Кибербезопасность должна охватывать модель и ее физическую инфраструктуру. Эти требования касаются конкретной категории моделей: они не означают, что любое приложение имеет идентичный сертификат безопасности.
Таким образом, европейский подход дает конкретный перевод нескольких тем дебатов. Поставщик должен предоставить информацию о рисках и корректирующих действиях. Оценка — это не только публичная оценка впечатляющего характера системы.
Европейский кодекс практики дополняет эту схему. Опубликованная в июле 2025 года, она представлена Комиссией как добровольный способ продемонстрировать соблюдение правовых обязательств. Его главы охватывают прозрачность, авторское право, безопасность и защиту. Последнее относится к моделям, охватываемым обязательствами по системным рискам.
Независимость не только от имени контролера
Предложение Хинтона ставит в центр решения отдельный орган от производителей. Его интерес заключается в возможном конфликте между скоростью маркетинга и временем, необходимым для тестирования. Компания может знать свою модель лучше, чем кто-либо другой, имея экономический интерес к ее быстрому распространению.
Для того чтобы внешний контроль предоставил дополнительную информацию, необходимо решить несколько вопросов: к какой версии обращаются оценщики? Какие результаты они могут изучить? Могут ли они повторить тесты? Кто решает, что будет дальше, когда произойдет крупный провал? Эти вопросы описывают практические условия экспертизы, не предполагая ответа для конкретной компании.
Сравнение с наркотиками также имеет очевидный предел. Общая модель может использоваться для самых разных задач и получать новые инструменты после распространения. Поэтому в его файле оценки должны быть указаны виды использования и условия. Благоприятная оценка в пределах данного периметра не отвечает всем возможным требованиям.
Личная критика Хинтоном некоторых лидеров является частью его суждения. Они не заменяют результаты испытаний или доказательства конкретных нарушений. Дебаты об ответственности становятся более точными, когда дело доходит до документированных решений, доступа и инцидентов.
После запуска сохраняйте способность действовать
Практическое руководство NIST требует мониторинга рисков и преимуществ на протяжении всего срока службы системы. Он планирует изучить вопрос о том, следует ли продолжать развертывание и адаптировать меры реагирования к наблюдаемым рискам. Контроль может включать в себя доступ, ограничения использования, документацию и организацию работы человека вокруг системы.
Эта непрерывность отвечает на конкретную трудность: фактическое использование может выявить проблемы, отсутствующие в первоначальных тестах. Обновление, изменение интеграции или новая популяция пользователей меняют контекст. Мониторинг должен быть в состоянии связать инцидент с использованной версией и с условиями ее эксплуатации.
Операционная ответственность начинается с идентифицируемых решений. Кто может ограничить функцию? Кто получает предупреждения? Кто проверяет эффективность коррекции? Отчет об оценке теряет часть своей полезности, если никто не несет ответственности за действия по его результатам.
Хинтон относится к возможным сбоям в работе электрических сетей, банковских услуг или систем здравоохранения. Эти сценарии выражают озабоченность; Они не являются объявлением о дальнейших нападениях на эти инфраструктуры. Однако его призыв подталкивает дискуссию к проверяемому требованию: документировать возможности и риски до открытия, а затем поддерживать средства для исправления, ограничения или прекращения проблемного использования.
Комментарии