Банки несут ответственность за решения ИИ

Банки несут полную ответственность за решения, принимаемые искусственным интеллектом (ИИ), даже если часть технологической инфраструктуры передана сторонним поставщикам. Об этом заявили участники сессии «Can We Trust AI Without Trusting What Sits Beneath It?» на форуме Silk Road Finance and Technology Forum, который состоялся в Ташкенте 25 августа. Модератором дискуссии выступил Джеймс Бой, руководитель азиатского направления и со-руководитель форумов Global Finance & Technology Network.

В ходе сессии был рассмотрен гипотетический случай предпринимательницы Азизы из Самарканда, чья заявка на кредит была отклонена системой ИИ. В этом примере банк проводит цифровую проверку личности и использует данные из различных источников, включая модель внешнего поставщика и облачную инфраструктуру за пределами страны. После отказа банк не смог предоставить чёткого объяснения, на каком этапе — в данных, идентификации, модели или другой системе — возникла проблема.

Участникам панели было предложено определить наиболее критичный элемент технологической цепочки.

Александр Симоненко, технический директор National Intellectual Solutions (Gorgona), выделил данные как ключевой элемент, подчеркнув, что это единственный уровень, который нельзя «импортировать» извне, и что ошибки в данных распространяются на все последующие уровни системы.

Арвинд Санкаран, старший эксперт по финтеху Азиатского банка развития, акцентировал внимание на моделях ИИ и их объяснимости, отметив, что состояние данных в Узбекистане уже находится на приемлемом уровне.

Шеруан Башар, заместитель руководителя Главного информационного центра при Центральном банке Узбекистана, назвал главной проблемой отсутствие контроля над процессом принятия решений.

Давит Меликидзе, генеральный директор UzCard, приравнял по значимости данные и модели, уточнив, что данные должны храниться локально, а модели — проходить локальную валидацию, независимо от места их разработки.

Янань У, генеральный директор и основатель Surfin Meta Digital Technology, также назвал модель ключевым элементом, отметив, что современные модели строятся на фундаментальных моделях с триллионами параметров и поэтому должны быть прозрачными, в идеале — с открытым исходным кодом.

Меликидзе перечислил пять принципов, которыми UzCard руководствуется при внедрении ИИ-решений: понимание работы модели, возможность её аудита, возможность внесения изменений, возможность полной замены решения и возможность восстановления процесса в случае сбоя.

Симоненко добавил, что при использовании автономных (агентных) систем ИИ необходимы защитные механизмы, которые не позволяют системе действовать постфактум, а вместо этого прогнозируют или блокируют потенциально проблемные действия, либо передают их на одобрение человеку. По его словам, для управления такими системами важны три элемента: контроль над идентификацией пользователя и данными, которые невозможно перенести за пределы юрисдикции; полное протоколирование решений модели; и возможность переключения между поставщиками моделей или платёжными системами.

У рассказал, что его компания предоставляет финтех-решения и сервисы финансовой инклюзии на основе ИИ для 100 миллионов клиентов в 13 странах, включая Узбекистан. Он отметил, что ключевая причина отказов в кредитах — неспособность корректно оценить риск заёмщика без кредитной истории. Поэтому его компания использует альтернативные данные вместо традиционной кредитной истории. Он подчеркнул, что доступ к оценке кредитоспособности должен рассматриваться как право любого человека, и привёл в пример собственный сервис, который формирует социальный кредитный рейтинг за 30 секунд и рассчитывает оценку кредитоспособности в течение минуты.

Меликидзе разграничил ответственность по уровням: за защиту данных должен отвечать регулятор, а за отношения с клиентом — конкретное финансовое учреждение, выдавшее кредит.

Санкаран отметил, что процесс выдачи бизнес-кредита включает уровень данных, уровень андеррайтинга, уровень принятия решения в реальном времени и уровень последующего мониторинга и взыскания задолженности. В этом процессе задействовано около сорока различных приложений, в той или иной форме использующих ИИ.

Башар заявил о необходимости избегать непрозрачных систем принятия решений, поскольку в примере с отклонённой заявкой банк фактически выступает «чёрным ящиком», не способным объяснить клиенту причину отказа. По его словам, регулятор не может занимать позицию невмешательства в подобной ситуации, хотя современные модели ИИ остаются вероятностными по своей природе и в этом смысле полностью непрозрачными даже при известных входных и выходных данных. Он уточнил, что не рассчитывает на то, что кредитные решения когда-либо будут приниматься непосредственно крупными языковыми моделями, и что речь идёт о более традиционных моделях машинного обучения, которые поддаются объяснению.

Санкаран добавил, что модели ИИ обучаются надёжно при наличии большого объёма исторических данных о заёмщиках, однако сложности возникают в пограничных случаях — с заёмщиками без кредитной истории. По его словам, в таких ситуациях участники рынка сочетают модели ИИ с формализованными правилами и обязательным участием человека в принятии решения.

У, в свою очередь, назвал ключевым фактором доверия к данным их принадлежность самому потребителю, отметив, что именно клиент должен решать, какими данными делиться и в обмен на какие финансовые услуги.