ИИ или индусы: что или кто выполняет ваши бизнес-задачи?

Американский гигант, занимающийся электронной коммерцией, продвигал свои магазины, формата «Взял и иди». Покупатели не стояли на кассе с продуктами — деньги списывались с их карты на выходе. Для этого якобы использовался искусственный интеллект, обрабатывающий данные с камер и датчиков. Но на самом деле значительную часть работ выполняли сотрудники краудсорсинговой платформы в Индии.

Тандем человека и ИИ — это нормально

Скандал скандалом, а эксперты по интеллектуальным технологиям не спешат осуждать Amazon и другие компании, «пойманные» на подобном.

Игорь Беляк

директор направления по искусственному интеллекту компании Directum

«У нас у самих, как вендора ПО с ИИ, есть такое решение, где в процессе обработки документов участвуют люди — это услуга 100% распознавания документов. Аналогичные решения есть и у конкурентов».

По словам эксперта, такой подход экономически целесообразен и понятен как для клиентов, так и для разработчика:

• заказчики гарантировано могут доверять результату работы сервиса и не выполнять верификацию на своей стороне при относительно высокой скорости обработки документов;
• с технической точки зрения понятно, что 100% точность в подобных задачах невозможна, и каждый новый процент полноты или точности извлечения классификации документов или извлечения фактов дается всё дороже.

Есть ли в России интеллектуальное ПО для обработки корпоративного контента  — Сложно себе представить, что вместо ChatGPT в OpenAI или в GigaChat от Сбера работали бы тысячи или сотни тысяч людей, которые отвечают на сложные вопросы, рисуют картины. И всё это в realtime за секунды. Такие задачи низкоквалифицированными кадрами не решишь, — рассуждает Игорь Беляк. — С другой стороны, есть простые запросы — ответить, что нарисовано на картинке, к какой категории относится написанный текст, кто подписал документ… Их легко могут выполнить люди без специального образования и долгой подготовки.

В каких-то ситуациях применение подхода human-in-the-loop выгоднее использования только ИИ-технологий.

Найти человеческий след

И все-таки, как понять, предлагает ли вендор передовое ПО, где часть функций на самом деле берет на себя машина, или лишь имитирует высокие технологии?

Облачные и локальные модели ИИ: что выбрать для вашей компании?  — Очевидно, что скрыть работу человека можно только в облачных решениях. Если у вендора нет локальной поставки его продукта — стоит держать его «на карандаше», — продолжает представитель Directum. — Далее можно воспользоваться демо-режимом его сервиса и поставить ему две задачи (возьмем, к примеру, обработку документов):

• отправить максимально стандартный документ, например, счет-фактуру, и что-то экзотическое (но указанное в SLA);
• счет на оплату на английском языке с нестандартным оформлением и низким качеством картинки и сравнить время и результат обработки.

Если применялся только ИИ, задача будет занимать плюс-минус одинаково небольшое время. Качество обработки — полнота извлечения фактов — может сильно варьироваться в зависимости от применяемых алгоритмов.

Но если первый документ обработался за секунды, а на второй ушло 1-2 минуты, велика вероятность, что в обработке принимал участие не только ИИ, но и человек.

Если оба теста обрабатывались «непростительно» долго — скорее всего, вендор сэкономил на ИИ, и всю или большую часть работы выполняют люди.

Еще один вариант проверки — оценка повторяемости результата. Можно подготовить данные для обработки, которые с точки зрения человека подразумевают двоякую трактовку, и отправить их на обработку N раз. Интеллектуальные сервисы всегда будут отвечать одинаково (не берем во внимание генеративные модели с их фантазиями). Человек же в нестандартных ситуациях при отсутствии четких правил будет действовать исходя из личного субъективного опыта. Если вы получите разные результаты обработки одних и тех же данных — вероятно, вы имеете дело с естественным интеллектом.