Каким образом функционирует определение лиц в телефонах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В последние годы распознавание лиц является одной из самых популярных возможностей для разблокировки мобильных телефонов. Всего пару годков ранее большинство юзеров обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь превращает данную возможность такой востребованной? Для начала, это практично: не нужно запоминать замысловатые пароли или находить правильный палец в тьме. Также, это оперативно: современные программы узнают лицо фактически за мгновение. В-третьих, это впечатление футуристичности — будто в кинофильмах про вулкан автомат разведчиков.

Однако за данной кажущейся несложностью скрывается полный мир трудных техник и инженерных решений. Позвольте нам понять, как точно работает фейсканирование в новейших смартфонах, какие существуют технологии, насколько они надёжны и что нас предстоит.

Короткая хроника развития инноваций

Идентификация лиц как техника существует уже более 50 годов. Первые попытки автоматического анализа облика были предприняты еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь выделять силуэты головы и вычислять расстояния между глазами и устами на монохромных снимках.

Первые бизнес платформы появились в 90-х, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с развитием синтетических сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Главные шаги работы устройства определения

Процесс распознавания лица можно условно разделить на несколько важных этапов:

1. Идентификация лица — камера выявляет наличие человеческого образа в изображении.
2. Определение особенностей — механизм изучает особенности облика: форму зрительных органов, носа, губ, расположение надбровных дуг.
3. Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — сформированный образец сравнивается с зафиксированной при внесении биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Всякий из этих этапов нуждается в специальных алгоритмов и улучшений для оперативной работы непосредственно на девайсе.

Аппаратные компоненты: что скрыто внутри них

Стандартная фронтальная камера.

Самый простой вариант идентификации лица использует лишь переднюю камеру смартфона. Данный подход внедрён во многочисленных доступных вариантах Android-устройств.

Положительные стороны:

• Необходимо потребляет дополнительных датчиков.
• Оперативно работает при достаточном свете.

Отрицательные стороны:

• Просто одурачить изображением или роликом.
• Неудачно действует при низком свете или нестандартных углах обзора.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Каким способом это действует:

• Точечный проекционный прибор показывает на лицо пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• Инфракрасная камера регистрирует изменение формы этой решетки по плоскости лица.
• Создаётся трёхмерная карта глубины глубины, что почти что невозможна для подделки обычной фотографией или маскировкой.

Выигрыши

• Надёжная деятельность даже в полной тьме.
• Сильная устойчивость к подделкам.
• Точность распознавания выше 99%.

Дополнительные сенсоры

В отдельных устройствах задействуются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения света до объекта и обратно; RGB-датчики глубины; специальные оптические дальномеры для формирования более детализированной 3D-модели физиономии.

Эти технологии встречаются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический интеллект в действии

Современные устройства опознания лиц неосуществимы при отсутствии эксплуатации искусственного интеллекта и машинного обучения. Именно вследствие таким технологиям, как вулкан россии, устройство может распознавать владельца даже при трансформациях облика: новая укладка, щетина, очки или макияж не становятся препятствием для деблокировки.

Обнаружение лиц

При стартовом этапе система должна оперативно распознать образ лица среди всего кадра с камеры. Для данной цели используются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может распознавать физиономию даже при неполном перекрытии (например, шарфом или ладонью).

Идентификация основных точек

После обнаружения лица механизм, такая как вулкан россии, определяет местоположение основных точек: края глаз, кончик носа, границы губ и так далее. Обычно применяется от 68 до 128 главных точек на лицевой области.

Это действие требуется для нормализации изображения: если юзер держит телефон под наклоном, или наклонил головку, программа “выпрямляет” изображение до обычного угла для дальнейшего анализа.

Формирование биометрического шаблона

Далее нейронная сеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Такой образец крайне трудно подделать: он не сохраняет само изображение пользователя, а лишь уникальные особенности его внешности, что делает его совершенным для таких платформ, как vulkan russia.

Сравнение и осуществление выбора

Когда человек желает разлочить мобильник взглядом, механизм воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно больше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Интересная особенность нынешних систем — возможность самостоятельного обучения. Если вы часто доступаете к мобильное устройство с обновленной укладкой или оптикой, алгоритм постепенно освежает базовый модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных данных.

Множество юзеры беспокоятся сохранять свои биометрические данные на мобильном устройстве из-за вероятности утечки информации или хакерской атаки. Некоторые компании, например vulkan russia, предлагают варианты для повышения безопасности данных юзеров.

• Локальное хранение: Большинство аппаратов записывает био-идентификационные модели только внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из гаджет и закрыты даже создателю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних разработчиков не обладают непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Следует упомянуть существенную особенность: если кто-то сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании реализуют систему защиты от неосознанного разблокирования — в частности, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие имеются типы определения лиц на изображениях?

На сегодняшний день можно различить три главных метода к выполнению этой операции:

Софтверное двухмерное распознавание

Используется только передняя видеокамера без экстра детекторов дистанции. Подобный способ встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; низкая затраты; оперативная работа при хорошем освещении.
Минусы: просто одурачить снимком; неустойчивая работа ночью; недостаточная охрана.

Техническое трёхмерное сканирование

Использует ИК камеру + проекционный модуль пикселей + датчики глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: значительная достоверность; нельзя подделать изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как вулкан россии и Google Pixel Face Unlock новейших версий, комбинируют фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Образцы эксплуатации разных техник

• iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение плоское идентификацию по изображению фронталкой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные сигналы

Несмотря на поразительный успехи инноваций за недавние годы, совершенных системы пока не имеется:

1. Вероятность мошенничества: Доступные телефоны легко открываются качественной изображением владельца или видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые совершенные механизмы могут спутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Изменения внешности: Внезапное похудение/набор веса, хирургические вмешательства или повреждения иногда необходимы для повторной регистрации биометрических данных.
4. Условия фотографирования: Сильная освещённость солнцем либо интенсивная затенение могут уменьшить верность определения признаков.

Вот несколько рекомендаций по безопасному использованию:

• Для критически важных операций всегда используйте двухэтапную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Регулярно апгрейдите ПО смартфона для обеспечения безопасности от новых видов атак;
• Включайте опцию “Требовать распахнутых глаз” в тех местах, где она доступна.

В каких областях дополнительно используется технология помимо мобильных телефонов?

Пускай предмет нашей публикации посвящена конкретно смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные удостоверения личности нового типа;
• Установки видеоконтроля городских служб;
• Автоматизация регистрации присутствия учебных заведений/вузов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Схожие программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется технология сегодня?

Каждый год проявляются свежие концепции для улучшения уровня деятельности систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Развиваются нейросети — современные структуры вида MobileNetV3 обеспечивают возможность оперативно осваивать новым особенностям внешности обладателя прямо на устройстве без отправки данных в облако.
3. Развиваются методы антиспуфинга — теперь телефоны умеют различать настоящие движущиеся лица от неподвижных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — умные часы могут самостоятельно блокировать смартфон, если пользователь ушёл далеко.
5. Возникают смешанные системы — в частности совмещающие голосовую идентификацию + физиономию + пальцевой отпечаток.

Здесь, которые направления в особенности востребованы сейчас:

1) Уменьшение элементов

Компании намереваются уменьшить размер прорези (“чёлки”) под сенсоры на экране за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения личной безопасности всё более вычислений выполняется на месте без передачи данных во внешний облачный сервис.

3) Стандартизация норм

Гугл активно продвигает норму BiometricPrompt API, чтобы такие системы, вроде вулкан россия, и все Android-приложения могли работать с всеми формами биометрии унифицированно.

Что подобрать сегодня?

Когда тебе необходима максимальная безопасность данных, остановите выбор на флагманские аппараты с интегрированным ИК-проектором или ToF-датчиком глубины.

• iPhone всех новейших поколений
• Huawei Mate/Series P серии
• Mix Professional
• Vivo X серии
• Oppo Найти X серии.

Если финансы невелик – лучше выбирать классическим методам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную возможность комфорта.

Каким образом увеличить практичность функционирования возможности?

Есть некоторые лайфхаков для пользователей, кто уже использует разблокировку через лицо:

1. Регулярно обновляйте свою фото-шаблон, если значительно меняется внешность.
2. Не упускайте из виду очищать линзу передней камеры – пятна могут понизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует фотоаппарат как только вы поднимаете его.
4. Во время регистрации старайтесь держать лицо ровно напротив видеоустройства исключая резкого наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от экрана.

Будущее прогресса технологии

В скоро наступающие периоды можно предвкушать появления полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + шаги + манипуляции руками!

Также предполагается развитие новых подходов обеспечения приватности – например, динамическое модификация электронного шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень увлекательных технологий нашего времени! Она обеспечивает общение со телефоном комфортнее чем раньше, и такие приложения, как vulkan russia, могут значительно оптимизировать ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта технология изнутри, – сумеете более осмысленно подбирать свой будущий устройство!