Модель, которая угадывает химика, а не физику: чему учит опыт Leash Bio

Что будет, если обучить модель на всех опубликованных молекулах и попросить её предсказывать активность? Скорее всего, она выучит не химию, а привычки людей, которые эти молекулы делали. Об этом в подкасте Latent Space рассказывает Ian Quigley, сооснователь и CEO Leash Bio. Для тех, кто занимается машинным обучением в разработке лекарств, его история читается как набор практических правил о том, как не обмануть самого себя.

Данные как главный актив: DNA-кодированные библиотеки

Leash строит бизнес на DNA-кодированных библиотеках (DEL). К каждой малой молекуле физически пришит ДНК-штрихкод. Все молекулы смешивают в одной пробирке, «закидывают» туда белок на магнитной бусине, как рыболовный крючок, вытягивают тех, кто связался, и секвенируют ДНК. Классические библиотеки по одной молекуле на пробирку упираются в единицы миллионов соединений. Самая большая DEL насчитывает 40 триллионов.

У метода много известных болезней: тяжёлый штрихкод, белки, которые липнут к ДНК, и ложные срабатывания. Leash закрывает их инженерно. Одну молекулу кодируют 32 или 48 разными штрихкодами, а если один из них ведёт себя иначе, значит, белок связывается с ДНК. Негативные контроли и воспроизводимость между партиями белка и библиотеки дополняют картину. По словам Quigley, повторные эксперименты через месяцы дают почти те же хиты в том же порядке.

Ставка здесь на «горькие уроки»: секвенирование дешевеет, а данных в формате «картинок» (изображений или ДНК-прочтений) можно собирать сколько угодно. Поэтому компания скринит каждую библиотеку против сотен белков. Такой охват заодно позволяет изучить саму библиотеку: Leash заметил, что две партии одной и той же библиотеки ведут себя по-разному.

Kaggle-конкурс: данные в тысячу раз больше, а результат нулевой

Показательный эпизод — соревнование на Kaggle. Leash выложил около четырёх миллиардов измеренных взаимодействий, тогда как BindingDB тогда содержала меньше трёх миллионов. Оценки строили на трёх уровнях сложности: общий блок с обучающей выборкой, общее ядро без общих блоков и совершенно другая библиотека. Участников было около 2000 команд.

На простых сплитах модели справлялись. На самом трудном никто не превзошёл случайное угадывание. Три места из пятёрки лидеров заняли команды, отправившие зашумлённый tutorial notebook. Из архитектур лучше всех показали себя простые SMILES-строки, а экзотические 3D-представления выиграть не смогли. Для Leash это был повод вложиться сильнее: задача оказалась труднее ожидаемого, а масштабируемые измерения всё ещё остаются рабочим путём.

Честные сплиты и простые бейзлайны

Модель Hermes, которую Leash сделал для быстрых экспериментов, устроена максимально просто: эмбеддинг белка ESM, эмбеддинг SMILES и cross-attention между ними. Куда важнее её оценка. Блоки в DEL кластеризуют по сходству, и целые кластеры не пересекаются между train и test. XGBoost при этом падает по мере удаления от обучающих данных, а Hermes держится ровнее. Вывод прямой: без такого сплита вы, возможно, измеряете запоминание, а не обобщение. Заодно напоминание, что XGBoost нужно запускать первым, до шести месяцев тонкой настройки любимой архитектуры.

Clever Hans: когда модель угадывает автора

Самая яркая часть разговора — пост о Clever Hans. Исследователи скачали из ChEMBL молекулы 1815 химиков, у каждого не меньше 30 статей и 600 молекул. Классификатор по одной структуре угадывал автора с top-5 точностью около 60%. У каждого химика есть узнаваемый «почерк», который перенимают его ученики. Более того, на таком «векторе вероятностей авторов» удалось обучить модель предсказывать активность, и она работала не хуже, чем на химических формулах.

Откуда это берётся? Химики решают определённые классы задач, а ещё не записывают то, что решили не делать: слишком дорого, нечем синтезировать, не сработает. Эти невидимые отказы оставляют отпечаток на том, что всё-таки попало в данные. Модель учит социологию, а не физику. По словам Quigley, эти данные лежат в основе множества академических работ, и это повод относиться к любым «выхлопным» данным с подозрением.

Вывод

Урок Leash универсален для любого ML-проекта в науке. Надёжные данные получаются из контролируемого, масштабного измерения, а не из того, что накопили люди. Оценивать модель нужно на сплитах, которые ломают дорогу к запоминанию, а на каждом шаге рядом должен стоять тупой бейзлайн. Если ваша модель блестяще работает на данных, созданных людьми со своими привычками, сначала проверьте, не угадывает ли она людей.