Конфликт между математиками усиливает опасения, что ИИ может подорвать науку

Ряд белых морозильных камер гудит на бывшей часовой фабрике в центре Лондона. Внутри находятся десятки небольших коробок с пробирками со штрихкодами, которые в общей сложности содержат сто миллиардов генов. Д-р Оливер Винс, сооснователь лаборатории, говорит, что всего две из этих коробок могут содержать в 10 раз больше информации, чем весь текст в интернете.

Его компания, Basecamp Research, хочет собрать как можно больше ДНК, чтобы создать искусственный интеллект, способный понимать язык биологии, — подобно тому, как американские и китайские технологические компании скомпилировали огромные объемы текстов из сети для создания больших языковых моделей (LLM), основы современных систем ИИ.

Винс, как и многие в бизнесе и академической среде, считает, что ИИ ускорит научные открытия. Но использование этой технологии вызывает все больше споров.

В прошлом месяце компания OpenAI, создатель ChatGPT, заявила, что решила одну из великих нерешенных задач математики, связанную с знаменитыми уравнениями Навье — Стокса. Компания сообщила, что ее ИИ-агенты справились с ней за 88 часов. Организация, присуждающая премию за решение этой проблемы, заявила, что задача, «судя по всему, решена», хотя проверка потребует времени.

Однако за несколько часов до этого заявления Тристан Бакмастер, математик из Нью-Йоркского университета, публично выразил обеспокоенность. Он сформировал независимую команду с Левентом Алпёге, математиком, который днем работает в конкурирующей компании Anthropic.

Они преследовали ту же цель и сохраняли свои черновики в инструменте программирования Codex от OpenAI. Бакмастер сказал, что его соисследователю намекнули, будто новости об их прогрессе «дошли» до OpenAI, хотя и не уточнил, каким образом. Он задался вопросом, моглa ли его научная работа, хранившаяся в Codex, повлиять на собственные разработки OpenAI, подчеркнув при этом, что «никого ни в чем не обвиняет».

В OpenAI заявили, что никто в компании, будь то человек или ИИ, не видел работу другой команды до ее публикации. Сначала компания сообщила, что, хотя это и маловероятно, она не может «исключать», что обезличенные данные от использования ее продуктов могли помочь улучшить ее модели. Спустя несколько дней в компании заявили, что промпты Бакмастера в Codex за два месяца до анонса «никак не могли повлиять на систему».

Это запутанная история, и мы до сих пор не знаем до конца, что произошло. Но она указывает на растущую проблему вокруг использования ИИ в науке. Обычно эти слова вызывают в памяти роботов, создающих опасные генно-модифицированные вирусы или химическое оружие для уничтожения человечества. Однако существует более тонкая проблема, которая не привлекает такого внимания: ИИ может подорвать доверие к научному процессу, сея сомнения в новизне и точности исследований.

Есть и еще одно опасение. Хорошо известно, что чат-боты с ИИ, такие как Claude или Gemini, иногда могут галлюцинировать — выдавать вещи, которые просто не соответствуют действительности. Они могут рассказать вам о фильме, которого никогда не существовало, или о цитате, которая никогда не произносилась. Теперь появляются доказательства того, что это все чаще происходит в науке. Есть опасения, что со временем станет трудно отличить подлинное научное открытие от вымысла, сгенерированного ИИ.

Все это может угрожать разрушением — если не уничтожением — фундамента, на котором держатся научные исследования: доверия.

Одна из угроз нависла над научными журналами, стражами научной добросовестности, которые, как считается, с трудом справляются с потоком искажений, созданных ИИ.

«Генеративный ИИ практически разрушил весь научный процесс», — говорит Далмит Сингх Чавла, научный журналист, который десять лет освещает нарушения научной этики.

Он заявил Би-би-си, что сотрудникам отделов обеспечения добросовестности публикаций — людям, которые проверяют поступающие статьи на точность и надежность, — потребуется «кардинально увеличить [свое число и усилия], если они хотят хотя бы приблизиться к этой борьбе». Он добавляет: «Прямо сейчас кажется, что они не справляются».

На первый взгляд, ИИ кажется именно тем инструментом, который идеален для научных исследований. Ученые работают с огромными объемами информации. Телескопы и ускорители частиц, например, генерируют миллиарды точек данных — слишком много для человеческого мозга. ИИ может находить научные ценности среди этого шума.

Ярким примером научного ИИ является британская компания Google DeepMind, которая в 2020 году решила одну из крупнейших задач биологии: как белки в живых организмах сворачиваются в свои точные формы.

Это может звучать не слишком увлекательно, но белки — это крошечные механизмы, поддерживающие жизнедеятельность, и формы, в которые они сворачиваются, определяют их функции: от построения клеток и борьбы с инфекциями до помощи в формировании тканей и органов тела.

До появления ИИ ученым приходилось проводить длительные лабораторные эксперименты. Затем Google DeepMind создала модель ИИ под названием AlphaFold, которая точно предсказала структуры 200 миллионов белков всего за один год.

Выполнение аналогичного объема работ экспериментальным путем потребовало бы сотни миллионов лет исследований в лабораториях. Компания предоставила результаты в свободный доступ для исследователей. Глава DeepMind и ведущий ученый проекта получили Нобелевскую премию по химии.

Это был триумф и всеобщий праздник.

Д-р Пушмит Кохли, возглавляющий научное направление в DeepMind, сказал мне, что AlphaFold можно считать «переломным моментом».

Но в других сферах применение ИИ в науке вызвало обвинения в излишнем ажиотаже. Говорят, что некоторые компьютерные модели преувеличивают значимость своих результатов, а контролирующие их ученые принимают эти заявления без должного скептицизма.

Вдохновленная успехом AlphaFold, DeepMind обратилась к предсказанию структуры новых материалов. Эта работа могла бы помочь создать лучшие аккумуляторы, более дешевые солнечные батареи и электронные компоненты, не требующие редкоземельных элементов. (Теоретически никому больше не пришлось бы спорить о правах на добычу полезных ископаемых, а Гренландия была бы защищена от вторжения.)

Генеральный директор DeepMind сэр Демис Хассабис праздновать использование его компанией ИИ для решения одной из крупнейших проблем биологии

Модель DeepMind выдала, по заявлениям компании, более двух миллионов новых кристаллических структур, что охарактеризовали как «знания, накопленные за почти 800 лет», обнародованные одномоментно. Из них около 380 000 были признаны достаточно перспективными для синтеза в лаборатории.

Затем последовало предупреждение от двух химиков из Калифорнийского университета. Энтони Читам и Рам Сешадри изучили случайную выборку предполагаемых новых кристаллов. В статье для журнала Chemistry of Materials они написали, что им «еще только предстоит найти хоть сколько-нибудь принципиально новые соединения», утверждая, что многие из них были «тривиальными адаптациями известных материалов». Их вывод заключается не в том, что метод неверен, а в том, что результаты требуют более тщательной проверки и валидации со стороны химиков.

В DeepMind отвергают эту критику, заявляя, что проверили каждое соединение на новизну. Компания утверждает, что отбрасывать новую структуру только потому, что она выглядит знакомо, неправильно: замена всего одного атома — это именно то, как появилось большинство самых полезных современных материалов, от компонентов телефонов до солнцезащитных кремов.

В этих случаях наука была по большей части настоящей, и проблема заключалась лишь в том, что ИИ потенциально преувеличивал ее значимость.

Куда больший опасения вызывает растущий риск загрязнения научных журналов так называемым ИИ-«мусором» (slop) — когда исследование пишет компьютер, а не ученый, что приводит к появлению фальшивых цитат и несуществующих статей.

В 2024 году специалист по информатике проф. Дмитрий Кобак из Гентского университета проверил более миллиона биомедицинских научных статей на наличие характерных фраз, любимых языковыми моделями, генерирующими тексты. Его команда обнаружила, что к декабрю прошлого года почти 90% из них имели следы ИИ. Инструменты обнаружения ИИ не идеальны; некоторые версии программного обеспечения назвали «сгенерированной ИИ» Конституцию США, написанную в 1780-х годах. Тем не менее, Кобак сказал, что был шокирован масштабом использования ИИ. Существует риск, заявил он журналу Nature, что «любая предвзятость, присущая LLM, может внезапно пронизать научную литературу».

Кобак — один из многих исследователей, которые опасаются, что ИИ медленно убивает научные журналы.

И это важно: научные статьи — это основа научного прогресса. Когда публикуется открытие, другая команда в любой точке мира может получить финансирование, чтобы развить его.

Пульсары — необычный вид нейтронных звезд, показанный выше в представлении художника, — были открыты в 1960-х годах во многом благодаря интуиции ученых

Рецензирование — процесс, при котором другие ученые проверяют научные статьи перед публикацией, — также подрывается.

Команда под руководством Вэйсина Ляна и Джеймса Цзоу из Стэнфордского университета проанализировала отзывы рецензентов, представленные на четыре крупные конференции по информатике, и обнаружила, что до 17% текста было существенно изменено языковой моделью.

Важнейшей частью целостности научной статьи является то, что авторы приводят список ранних исследований, чтобы показать, что их работа действительно нова. Это цитирование. Отдельная команда из Корнеллского университета обнаружила, что исследователи используют ИИ для составления списков литературы, и тот выдумывает фальшивые работы: в прошлом году было процитировано около 147 000 несуществующих исследований.

Если ИИ продолжит подобным образом искажать академический процесс, это заведет исследователей в тупик, государственные деньги будут потрачены впустую, а появление пользы от реальных исследований — таких как новые лекарства или зеленые технологии — задержится или не состоится вовсе.

Некоторые научные издательства, включая Elsevier, предпринимают шаги для предотвращения этого растущего кризиса доверия.

Команда Elsevier по научной этике разработала около 100 признаков, которые отправляют статью на более тщательную проверку человеком. Журналы Nature запрещают изображения, созданные ИИ, и требуют от рецензентов никогда не загружать рукописи в системы ИИ. Сайт arXiv, где ученые делятся предварительными результатами, отстраняет исследователей на год, если они отправляют выдуманные ссылки.

Проф. Сара Мейн, вице-президент Elsevier, входит в число тех сотрудников компании, которые пытаются понять, как ответственно использовать ИИ в исследованиях. «То, что мы называем ИИ научного уровня, должно гарантировать, что исследователь остается у руля», — говорит она.

Шотландский ученый сэр Александр Флеминг открыл пенициллин в 1920-х годах

Поскольку ИИ-агенты обрабатывают огромные объемы данных, поступающих с ускорителей частиц, из космоса и мира природы, как мы можем быть уверены, что они делают это правильно?

И есть еще один тревожный вопрос: откуда мы знаем, что ИИ-агенты не отбрасывают важный результат как аномалию? Открытия пенициллина, радиоактивности и странных звезд под названием пульсары произошли благодаря необычным результатам, которые легко можно было проигнорировать. Человеческая интуиция превратила их в одни из крупнейших научных событий прошлого века.

Может ли ИИ действительно воспроизвести это чувство счастливой случайности и человеческой изобретательности?

Кохли из DeepMind не считает, что решение заключается в отказе от ИИ. Это было бы «все равно что сказать, что нужно считать без калькуляторов», — сказал он мне. Но он отмечает необходимость человеческого контроля: «Сегодняшние агенты несовершенны. Кто-то должен нести ответственность».

Его критерий прост: «Вы должны понимать, что сделал агент, и взять на себя ответственность. Нельзя просто задать проблему, позволить машине написать статью и опубликовать ее как истину».

Почему некоторые эксперты все больше опасаются, что ИИ захватит мир

ИИ создает «человеческую наценку» на искусство, созданное людьми. Но долго ли это продержится?

Технологические миллиардеры, похоже, готовятся к концу света. Стоит ли нам всем волноваться?

Проф. Андреа Паули из Венского биоцентра в Австрии соблюдает это правило. Она потратила почти 10 лет на вопрос, на который еще никто не дал ответа: как сперматозоид проникает в яйцеклетку. Ответственное использование ИИ помогло ей приблизиться к разгадке. Ее лаборатория обнаружила белок на поверхности яйцеклеток данио-рерио, который указал на механизм «замка и ключа», позволяющий сперматозоиду проникнуть внутрь.

Ее работа дает надежду среди океана научного ИИ-мусора. Она показывает, что ИИ может помогать.

Это также история о людях. Вскоре после основания Basecamp — лаборатории в бывшей лондонской часовой фабрике, которую я посетил, — ее сооснователь Оливер Винс попал в больницу с лейкемией (от которой он уже оправился). Этот опыт побудил его разработать систему ИИ, которая имела бы больше шансов на создание лекарств от рака. Это может и не сработать, говорит он, но попытаться стоит.

«У нас есть технически осуществимый путь к излечению рака», — говорит он.

Это не обещание со стороны Винса, а направление. Главный вопрос заключается в том, приведет ли ИИ науку к этой цели или тихо разрушит кирпичи, на которых она стоит.