Искусственный интеллект, использующий функцию замены лица, изменяет видимую личность на целевом изображении или видеокадре, стараясь при этом сохранить позу, выражение лица, сцену и освещение объекта. Для описания функциональности продукта недостаточно простого вызова модели. Для этого нужны правила обработки входных данных, политика авторизации, средства контроля генерации и возможность проверить результат до того, как им кто-либо воспользуется.
Базовые модели различаются, но интеграционные работы выполняются по одной и той же схеме. Начните с одобренных исходного и целевого материалов, определите лица, создайте представление идентичности, сгенерируйте изменённое лицо и проверьте, соответствует ли оно исходной сцене.
Кратко о конвейере
Большинство процессов ИИ-замены лица состоит из четырёх этапов:
Найдите соответствующее лицо или лица в исходном и целевом материалах.
Выровняйте лицо и создайте представление идентичности на основе одобренного исходного изображения.
Преобразуйте целевое лицо в направлении этой идентичности, сохраняя целевую сцену.
Скомпонуйте, восстановите и проверьте результат.
Сбои на разных этапах проявляются по-разному. Неточная обрезка может сместить черты лица. Исходное изображение с низкой детализацией может сделать идентичность нестабильной. Лицо может выглядеть правдоподобно само по себе, но всё равно не сочетаться с целевым материалом, если не совпадают цвет, края или движение. Для производственного процесса нужны проверки вокруг модели, а не просто одна привлекательная демонстрация.
Сначала установите правила авторизации и обработки входных данных
Прежде чем выбирать модель, определите, какие материалы будет принимать ваш продукт. Человек, представленный на исходном изображении, должен дать явное разрешение на предполагаемое использование. Ваша политика также должна охватывать целевые материалы, хранение, удаление, уведомление пользователей и канал для сообщений о злоупотреблениях.
Технические средства контроля могут поддерживать эти правила. Требуйте явного подтверждения, ведите журнал аудита для одобренных проектов, ограничьте круг лиц, которые могут предоставлять исходные идентичности, и отклоняйте входные данные, не соответствующие политике продукта. Эти средства контроля являются продуктовыми решениями. Они не заменяют юридическую консультацию для каждой юрисдикции.
Шаг 1: найдите и выровняйте лица
Рабочий процесс сначала обнаруживает лицо на каждом изображении или в каждом кадре. Обнаружение позволяет оценить область лица. Затем оценка ориентиров определяет устойчивые точки, такие как уголки глаз, нос и рот. Система использует эти точки, чтобы повернуть, масштабировать и обрезать каждое лицо в единой системе координат.
Выравнивание имеет значение, поскольку на более поздних этапах сравниваются черты лица, а не просто прямоугольник пикселей. Изображение лица, которое очень маленькое, размытое, закрытое или отвернутое, предоставляет системе менее достоверную информацию. Процесс приема может выявлять такие случаи и запрашивать более качественный одобренный исходный материал вместо выдачи необъяснимо слабого результата.
Наличие нескольких лиц создает отдельную задачу сопоставления. Не стоит полагаться на показания детектора. Запишите выбранное исходное и целевое лицо, покажите пользователю, что изменится, и отправьте неоднозначные совпадения на проверку.
Шаг 2: создание представления идентификатора
Системы распознавания лиц часто преобразуют лицо в компактное числовое представление, называемое эмбеддингом. По сравнению с исходным изображением, встраивание призвано быть более полезным для сравнения идентичностей. FaceNet и ArcFace описывают влиятельные методы обучения таким представлениям.
В рабочем процессе замены лица это представление может направлять результат к идентичности из одобренного исходного материала, тогда как целевой кадр задает позу, выражение лица, кадрирование и контекст сцены. Это всё равно лишь приближение. Результат не следует представлять как аутентичное изображение человека.
Шаг 3: сгенерируйте измененное лицо
Этап генерации объединяет указания об идентичности с информацией из целевого изображения. Система может использовать кодировщик и декодировщик, генеративно-состязательную сеть, диффузионный процесс или другой метод преобразования изображений. Для плана интеграции измеренное поведение важнее, чем название архитектуры.
Задайте следующие вопросы в ходе оценки:
Сохраняет ли результат позу и выражение лица целевого изображения?
Сохраняет ли он одобренные технические характеристики, такие как размеры изображения и обработка альфа-канала?
Что происходит при наличии очков, растительности на лице, перекрытий, необычного освещения и ракурсов в профиль?
Может ли система выбрать нужное лицо в кадре с несколькими людьми?
Возвращает ли неопределённый ввод пригодную для использования ошибку вместо изображения, которое невозможно проверить?
Чистый портрет не является надёжным показателем пригодности пользовательских медиафайлов. Создайте набор для оценки из входных данных, которые вам разрешено использовать, и отмечайте наблюдаемые сбои.
Шаг 4: компоновка и проверка результата
Сгенерированное лицо должно соответствовать целевому изображению. Компоновка может включать доработку маски, сглаживание краёв, коррекцию цвета и восстановление. Проверьте границу вокруг лица, тон кожи при освещении сцены, края волос и аксессуаров, а также ближайший фон. Для изображений проверяйте как отображаемый размер, так и исходное разрешение. Для видео проверяйте последовательность, а не отдельные кадры.
Цель — сохранить целевую сцену нетронутой, не добавляя артефактов, которые делают результат вводящим в заблуждение или непригодным для использования.
Видео требует проверки во времени
Видео добавляет проблему согласованности от кадра к кадру. Лицо может выглядеть приемлемо в одном кадре, а в следующем заметно измениться, когда объект поворачивается, меняется освещение или лицо покидает кадр и снова появляется в кадре. Проверяйте стабильность идентичности, отслеживание ключевых точек, маскирование краев и мерцание во времени.
Используйте видеоролики с движением, монтажными склейками, частичным перекрытием и участием нескольких человек, если такие ситуации характерны для вашего продукта. Опишите, что происходит, когда дело не удается. Рабочий процесс может не возвращать результат, запрашивать другой ввод или направлять материал на утверждённую процедуру проверки. Он не должен угадывать, какого человека следует изменить.
Качество обеспечивается всем рабочим процессом
Выбор модели — один из факторов, влияющих на качество. Исходный носитель, целевой носитель, предварительная обработка, параметры генерации и постобработка также влияют на результат. Сохраняйте критерии проверки явными:
Качество источника: видно ли лицо из авторизованного источника, достаточно ли оно детализировано и подходит ли для предполагаемого преобразования?
Совместимость с целью: оставляют ли поза, освещение, движение и перекрытия достаточно информации для правдоподобного результата?
Согласованность идентичности: остаётся ли результат согласованным во всём утверждённом тестовом наборе без переноса несвязанных деталей источника?
Соответствие сцене: соответствуют ли граница лица, цвет, тени и аксессуары целевой сцене?
Безопасность продукта: могут ли пользователи понять, что результат синтетический, и сообщить о возможном неправомерном использовании?
Эти проверки упрощают повторяемое принятие решений о приемке.
Используйте измеримый цикл внедрения
Начните с небольшого тестового набора с полученным согласием. Фиксируйте входные данные, версию модели, настройки, статус результата и решение проверяющего. Группируйте сбои по причинам, вместо того чтобы считать каждое плохое изображение одной и той же проблемой. Качество источника, сопоставление нескольких лиц или стабильность видео могут потребовать доработки раньше, чем выбор модели.
При сравнении сопутствующих инструментов ознакомьтесь с текущим каталогом моделей изображений OdiRouter и OdiRouter getting-started documentation. Проверьте текущие возможности модели и правила ввода в общедоступном каталоге или документации, прежде чем включать её в производственную функцию.
Часто задаваемые вопросы
Является ли замена лица с помощью ИИ тем же, что и воспроизведение мимики лица?
Нет. Замена лица направлена на изменение воспринимаемой идентичности при сохранении частей целевой сцены. Воспроизведение мимики лица обычно управляет существующим лицом с помощью выражения или движений другого человека. Точно описывайте операцию, чтобы пользователи знали, что изменится.
Может ли процесс замены лица работать с несколькими людьми?
Может, но продукт должен определить целевое лицо и обработать неоднозначность. Обнаружение, сопоставление и проверка — отдельные этапы. Не используйте порядок обнаруженных лиц как правило определения личности.
Что команде следует протестировать в первую очередь?
Проверьте качество авторизованного источника, позу и освещение цели, обработку нескольких лиц и повторяемость в короткой видеопоследовательности, если видео входит в область применения. Фиксируйте сбои до расширения доступа или автоматизации.