Экзамен с ключом ответов: как Leash Bio проверяет AI-агентов на научном мышлении

Оценить AI-агента, который «занимается наукой», сложно: настоящий эксперимент долог и дорог, а результат часто неизвестен даже людям. Команда Leash Bio предлагает обходной путь: бенчмарк AI-агентов для науки, где ответы уже измерены, а агент об этом не знает. Об этом рассказал Иэн Куигли из Leash Bio в подкасте Latent Space. Ниже разбираю, что именно построено и почему идея шире, чем медицинская химия.

Оговорка: запись разговора сохранилась в виде автосубтитров с заметными искажениями. Поэтому я опираюсь только на то, что в них читается устойчиво, а неясные числа не привожу.

Что за среда: поиск молекул при ограниченном бюджете

Leash Bio получает огромные массивы данных о том, как молекулы связываются с белками. Для этого используются скрининги на ДНК-кодированных библиотеках: миллионы соединений против тысяч белков. Из этих данных собрана среда для агентов, и в её основе классическая задача SAR (structure-activity relationship, связь структуры и активности). Известно несколько молекул, которые связываются с белком. Нужно понять, как их изменить, чтобы связывание стало лучше. Именно так работает медицинский химик.

Другие свойства лекарства, например метаболизм, в эту постановку сознательно не входят. Остаётся одно: найти молекулу, которая лучше связывается с целью.

Агенту, то есть языковой модели, дают список молекул и структурированный бюджет примерно в сто экспериментов. Ему не говорят, где оптимум. Он сам решает, как тратить бюджет. По ходу работы он формулирует гипотезы SAR простым языком, проверяет их ограниченным числом «измерений» и корректирует курс. Поскольку все ответы измерены заранее, такие среды можно тиражировать в больших количествах: никаких пробирок во время прогона нет.

Среда как экзамен с ключом ответов

Главное достоинство подхода в том, что известен весь «мир», а не только результат агента. Это даёт возможность оценивать качество научных решений, а не финальную метрику.

Например, можно посмотреть, сколько лучших молекул из всей среды агент вообще нашёл. Бывает, что нашёл лишь половину, и дело не в невезении: он мог сдаться рано или зациклиться на одном семействе соединений. Можно отдельно измерить баланс exploration и exploitation: как часто агент возвращается к уже опробованной молекуле и оправдан ли такой возврат.

По словам Куигли, на этих метриках модели разных поколений разделяются хорошо. Это важно для любого бенчмарка: если все модели набирают почти одинаково, он бесполезен.

Умная модель уходит из тупика быстрее

Самое интересное наблюдение касается поведения. Более сильные модели активнее исследуют разные участки пространства молекул. В бесперспективных областях они сворачиваются быстрее и переходят в другое место. Слабые модели продолжают вносить мелкие правки в безнадёжное семейство: «эти две молекулы пока не худшие, попробуем ещё».

Причину авторы пока не знают. Но картина узнаваема и для разработки с агентами: сильная модель отличается не только тем, что решает задачу лучше, но и тем, что вовремя признаёт, что идёт не туда. Для агентов в научных исследованиях это, возможно, важнейший навык: бюджет конечен, и худшая стратегия — упорство в тупике.

Авторы читают и сами транскрипты рассуждений. Агент разбирает кольцо, предполагает, что определённый азот влияет на связывание, и объясняет это правдоподобно с точки зрения медицинской химии. Когда такие разборы показывали химикам, те обычно соглашались, что рассуждение разумно. Это важный сигнал, хотя прямое сравнение с людьми пока не сделано: полноценно просить людей пройти те же среды и отчитаться трудно и долго.

От бенчмарка к обучению с подкреплением

У идеи есть второй слой. Среду с мгновенной обратной связью можно использовать не только для оценки, но и для обучения с подкреплением. Цель чёткая (найти лучшую молекулу), награда считается автоматически, а среды можно генерировать почти бесконечно. Leash уже работает с примерно тысячей белков и планирует быстро наращивать число сред. Для сравнения, обычный цикл «модель предлагает, лаборатория измеряет» занимает недели, а бюджет ограничен.

Пока авторы воздерживаются от громких обещаний. Неизвестно, переносится ли выученное на другие области биологии. Но сама постановка («когда остаться, когда уйти, как потратить ограниченный бюджет экспериментов») от химии не зависит. Если агент научится принимать такие решения здесь, тот же принцип можно применить к другим научным задачам.

Почему это важно

Для всех, кто строит агентов, урок в том, что хорошую оценку надо проектировать. Среда с известным ключом ответов позволяет смотреть не на «получилось или нет», а на траекторию: где агент ошибся, где упёрся, где вовремя сменил гипотезу. Препринт, блоги и данные авторы обещают опубликовать, и тогда эксперимент можно будет повторить самому.

Оговорка о моделях. В разговоре упоминалось, что чемпион среди моделей на этой задаче лидирует с небольшим отрывом, а относительно новые версии вроде Sonnet 5.5 показывают себя неплохо. Точные цифры в записи не разобрать, поэтому судить о рейтинге рано. Стоит дождаться препринта.