Компания Sainsbury's приостановила работу камер с искусственным интеллектом после того, как покупателя выгнали из зала.

Сеть супермаркетов Sainsbury's приостановила использование своей системы видеонаблюдения с искусственным интеллектом в одном из своих магазинов в Лондоне после того, как покупатель, Мэтт Арнольд, был ошибочно идентифицирован как магазинный вор и ему было предложено покинуть магазин. 46-летний Арнольд назвал инцидент «ужасающим взглядом в будущее», предупредив, что подобные технологии видеонаблюдения в розничной торговле могут унижать покупателей и приводить к тому, что сотрудники будут слепо следовать автоматическим оповещениям, не проявляя должного человеческого суждения.

Инцидент произошел 6 августа в магазине в Ист-Далвиче. Арнольд, организатор комедийных мероприятий, закупавший товары для своего события, находился у кассы самообслуживания, уже отсканировав свои товары и карту Nectar, и ждал, пока сотрудник подтвердит покупку алкоголя. Вместо этого к нему подошли двое сотрудников руководства и сообщили, что его не могут обслужить из-за инцидента, произошедшего «ранее на этой неделе».

Арнольд рассказал BBC London: «Они подошли и сказали, что я должен уйти. Сотрудник сказал, что меня опознал искусственный интеллект, и камеры меня зафиксировали». Он возразил: «Магазинский вор не ходит с таким количеством покупок, он не сканирует их, не вставляет свою карту Nectar». Он выразил обеспокоенность тем, что «люди просто слушают, что им говорит машина, не задумываясь о последствиях». После того, как его вывели, Арнольд увидел на мониторе видеонаблюдения предупреждение с красным кругом вокруг его лица.

На следующий день головной офис Sainsbury's связался с Арнольдом, чтобы извиниться, объяснив ошибку «человеческим фактором», а не сбоем программного обеспечения. Они заявили, что сотрудники зафиксировали не того человека после отдельного предупреждения.

Это не первый случай, когда система распознавания лиц Sainsbury's, предоставленная Facewatch, приводит к тому, что невиновного покупателя оспаривают. В сентябре Уоррена Раджу аналогичным образом выгнали из магазина Sainsbury's в Элефант-энд-Касл после того, как та же самая программа Facewatch ошибочно отметила его в своей системе, несмотря на то, что позже компания по безопасности подтвердила, что его не было в их системе. Этот инцидент также был объяснен «человеческой ошибкой» как компанией Sainsbury's, так и Facewatch. Facewatch уже сталкивалась с подобными случаями с другими розничными партнерами, в том числе в магазине Home Bargains в 2024 году и в магазине B&M в Кардиффе в прошлом году.

Арнольд считает, что сотрудникам сложно эффективно работать с системой в условиях оживленной розничной торговли. «Хотя то, что случилось со мной, было ужасно, мне жаль сотрудников», — сказал он, добавив: «Ошибки неизбежны. Их не готовят к правильному внедрению ИИ». Он также поставил под сомнение точность системы, отметив, что даже 0,2% ошибок повлияют на «многих людей, когда миллионы каждую неделю посещают магазины Sainsbury's».

Представитель Sainsbury's подтвердил, что использование технологии в магазине в Далвиче приостановлено на время расследования, но защитил её более широкое внедрение, сославшись на рост насилия в отношении работников розничной торговли. Он заявил: «Мы связались с г-ном Арнольдом, чтобы извиниться за инцидент, произошедший в нашем супермаркете в Далвиче. Инцидент был вызван человеческой ошибкой, а не технологией распознавания лиц». Он добавил: «Покупатели могут быть уверены, что система Facewatch имеет точность 99,98%, и каждое совпадение проверяется обученным менеджером». Sainsbury's начала пилотное внедрение программного обеспечения для распознавания лиц в некоторых магазинах в прошлом году.

Представитель Facewatch также заявил, что их технология «не виновата», отметив: «В розничного продавца было отправлено корректное оповещение, но впоследствии произошла человеческая ошибка в обработке информации в магазине». Компания описала приостановку работы системы в магазине как «превентивную меру» для дополнительного обучения персонала. Компания Facewatch уточнила, что заявленная точность в 99,98% основана на реальных испытаниях в розничной торговле с использованием двойного алгоритма и анализа экспертами, а оставшиеся 0,02% представляют собой пороговое значение, при котором проверка экспертами отфильтровывает потенциальные ошибки перед отправкой оповещений.

Компания Sainsbury's привела данные Британского консорциума розничной торговли, показывающие 1600 ежедневных случаев насилия и оскорблений в отношении работников магазинов по всей стране, что значительно больше, чем 455 случаев в день в 2019-2020 годах. Ритейлер сообщил, что первоначальные испытания системы распознавания лиц в двух магазинах привели к снижению количества зарегистрированных случаев краж и антисоциального поведения на 46%, при этом более 90% нарушителей больше не возвращались.

Силкие Карло, директор правозащитной группы Big Brother Watch, призвала Sainsbury's отказаться от этой технологии, утверждая, что она «обращается с покупателями как с преступниками». Она заявила: «Серьезные ошибки, подобные этой, неизбежны, когда крупная национальная розничная сеть проводит сотни тысяч проверок личности без разбора с помощью этой зловещей технологии слежки».

Арнольд, которая пожертвовала подарочный сертификат Sainsbury's на 150 фунтов стерлингов местному продовольственному банку, задалась вопросом, почему система остается активной в других местах. «Если они приостанавливают ее в этом магазине в Ист-Далвиче, они признают наличие проблемы. Почему они не приостанавливают ее во всех магазинах?»