Каким способом функционирует распознавание лиц в смартфонах

Для чего мы выбираем разлочивание по фейсу

В недавние годы идентификация лиц является одной из самых распространённых возможностей для открытия мобильных телефонов. Лишь некоторые годов ранее основная часть пользователей довольствовались пин-кодами, паролями или датчиками отпечатков пальцев. Но с появлением подобных технологий, как admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту особенность настолько популярной? Для начала, это удобно: не нужно запоминать трудные пароли или находить нужный палец в темноте. Кроме того, это оперативно: современные алгоритмы узнают лицо практически за мгновения ока. В-третьих, это впечатление футуристичности — будто в кинофильмах про адмирал х агентов.

Однако за данной кажущейся несложностью скрывается весь вселенная трудных методов и инженерных концепций. Попробуем разобраться, как конкретно работает распознавание лиц в актуальных мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая история прогресса техники

Распознавание лиц как технология присутствует уже более 50 годов. Первые пробы автоматического изучения облика были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь обозначать очертания черепа и вычислять дистанции между глазами и устами на монохромных снимках.

Начальные торговые платформы появились в 90-х, но они были неидеальны: действовали неспешно и часто давали сбои. Только с прогрессом синтетических сетей и таких площадок, как адмирал х, мощных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные решения.

Основные шаги функционирования системы идентификации

Процесс распознавания лица можно условно сегментировать на несколько ключевых этапов:

Распознавание лица — аппарат распознает наличие гуманного лица в изображении.
Выделение особенностей — система анализирует черты лица: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со образцом — сформированный образец сопоставляется со сохранённой при внесении биометрической данными владельца.
Принятие решения — если соответствие достаточно существенное, смартфон деблокируется.

Всякий из данных шагов нуждается в индивидуальных методов и улучшений для скорой работы прямо на устройстве.

Железные компоненты: что находится в их недрах

Стандартная фронтальная камера.

Самый простой легкий метод определения лица задействует лишь переднюю камеру смартфона смартфона. Такой способ внедрён во многочисленных доступных моделях Android-устройств.

Достоинства:

Не нуждается в требует внешних датчиков.
Оперативно работает при качественном освещённости.

Слабые стороны:

Несложно обмануть фотографией или роликом.
Неправильно функционирует при низком освещённости или необычных ракурсах.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Как это действует:

Точечный проекционный прибор проецирует на облик использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
ИК камера фиксирует изменение формы данной решетки по поверхности физиономии.
Формируется 3D карта глубины глубинности, которая почти что неосуществима для фальсификации типичной фотографией или маской.

Достоинства

Надёжная деятельность даже в полной тьме.
Большая устойчивость к фальсификациям.
Точность идентификации более 99%.

Добавочные датчики

В определённых устройствах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения света до объекта и обратно; Трехцветные-датчики дальности; специальные лазерные измерители расстояния для формирования более точной 3D-модели лица.

Эти разработки используются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум на работе

Современные механизмы опознания физиономий неосуществимы без эксплуатации искусственного интеллекта и машинного обучения. Именно из-за таким разработкам, как адмирал х, устройство в состоянии узнавать владельца даже при метаморфозах облика: новая причёска, щетина, оптика или макияж не становятся препятствием для деблокировки.

Распознавание физиономии

При стартовом этапе система должна мгновенно распознать ликовое изображение среди полного изображения с камеры. Для данной цели используются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже в случае неполном перекрытии (например, шалью или ладонью).

Идентификация важных точек

После распознавания лица устройство, такая как адмирал х, устанавливает расположение ключевых точек: кончики глаз, конец носа, границы губ и так далее. Как правило применяется от 68 до 128 основных точек на лицевой области.

Это действие требуется для нормализации визуала: если человек находится с смартфон под наклоном, или наклонил головку, программа корректирует изображение до стандартного положения для последующего изучения.

Создание биометрического шаблона

Далее нейронная сеть строит уплотненное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 вещественных чисел.

Этот шаблон весьма затруднительно имитировать: он не сохраняет непосредственно картинку пользователя, а лишь уникальные особенности его облика, что делает его идеальным для таких площадок, как admiral-x.

Сравнительный анализ и принятие решения

Если человек намеревается разблокировать мобильник глазами, механизм воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Привыкание к трансформациям внешнего вида

Занимательная черта актуальных системы — возможность самообучения. Если ты часто открываете смартфон с свежей прической или оптикой, программа постепенно модернизирует основной модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических информации.

Множество юзеры опасаются держать свои биометрические данные на смартфоне из-за риска потери данных или взлома устройства. Определенные фирмы, такие как admiral-x, предоставляют решения для увеличения защиты информации клиентов.

Локальное сбережение: Основная часть девайсов записывает био-идентификационные модели исключительно в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и недоступны даже изготовителю.
Шифрование: Все информация сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Необходимо упомянуть значимую деталь: в случае, если какой-то человек сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют систему защиты от неосознанного разблокирования — например, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы определения лиц на изображениях?

В настоящее время можно определить различить три главных метода к реализации этой операции:

Программное 2D распознавание

Используется только передняя видеокамера без дополнительных детекторов дистанции. Такой подход наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; низкая затраты; скоростная функционирование при хорошем освещении.
Минусы: просто одурачить снимком; ненадежная деятельность ночью; низкая безопасность.

Техническое 3D сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: значительная достоверность; нельзя подделать изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с интеграцией ИИ

Используют комбинацию программных методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разнообразных техник

iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз предложил эквивалент Face ID в числе Android.
Samsung Galaxy S10/S20 обеспечивают как программное плоское идентификацию по снимку фронталкой, так и датчик ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы безопасности и ложные тревоги

Несмотря на замечательный успехи инноваций за последние годы, идеальных систем пока не существует:

Вероятность подвоха: Бюджетные мобильники легко открываются высококачественной снимком владельца или видеозаписью с дисплея иного гаджета.
Идентичные двойняшки: Даже самые совершенные устройства могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
Метаморфозы внешности: Резкое утрата веса/набор веса, косметические процедуры либо травмы порой требуют обновления данных биометрических данных.
Условия записи: Сильная освещённость солнечным светом или же глубокая тень могут уменьшить точность идентификации признаков.

Здесь некоторые подсказок по безопасному использованию:

Для критически важных операций всегда используйте двухэтапную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на дешёвых моделях без ИК-сенсоров;
Систематически апгрейдите ПО телефона для защиты от новых видов атак;
Включайте функцию “Требовать раскрытых глаз” везде, где она есть.

В каких местах также применяется технологии кроме мобильных телефонов?

Несмотря на то, что основная мысль этой публикации касается конкретно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Контроль прохода в рабочих помещениях и многоквартирных зданиях;
Платёжные аппараты банков (“Face Pay”);
Цифровые паспорта современного типа;
Комплексы видеоконтроля муниципальных подразделений;
Автоматизация отслеживания посещаемости школ/институтов;
Авторизация участников персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Схожие проекты реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется техпроцесс в нынешнее время?

Каждый годочек проявляются свежие концепции для повышения качества функционирования систем лицевого распознавания:

Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
Развиваются нейросети — современные конструкции модели MobileNetV3 обеспечивают возможность быстро осваивать свежим характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь мобильные устройства способны распознавать настоящие движущиеся лица от неподвижных фото/масок по незаметным движениям кожи.
Интеграция со умными устройствами — интеллектуальные часы могут автоматически блокировать телефон, если владелец удалился на значительное расстояние.
Появляются гибридные механизмы — например совмещающие речевую идентификацию + лицо + пальцевой отпечаток.

Вот, какие направления очень востребованы сейчас:

1) Миниатюризация элементов

Производители пытаются уменьшить габариты выреза (“чёлки”) под датчики на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения приватности всё больше расчётов осуществляется локально без передачи данных во сторонний облачный услугу.

3) Стандартизация регламентов

Гугл интенсивно продвигает стандарт BiometricPrompt API, чтобы подобные площадки, вроде admiral x, и все Android-программы могли взаимодействовать с различными типами биометрии стандартизированно.

Что решить сегодня?

Если тебе важна максимальная сохранность информации, остановите выбор на передовые устройства со встроенным ИК-проектором либо ToF-сенсором глубины.

iPhone всех новейших поколений
Huawei Companion/P Series линейки
Mix Expert
Vivo X линейки
Оппо Обнаружить Х серий.

Если бюджет ограничен – лучше выбирать традиционным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию комфорта.

Каким образом повысить комфорт работы функции?

Есть несколько лайфхаков для людей, кто уже использует функцию распознавания лица:

Периодически меняйте свою фото-шаблон, если значительно трансформируется внешность.
Не упускайте из виду протирать объектив фронтальной камеры – разводы могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует камеру как только вы поднимаете его.
При записи постарайтесь сохранять лицевую часть прямо напротив объектива исключая сильного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отворачиваетесь от дисплея.

Перспективы эволюции технологии

В предстоящие времена можно предвкушать появления полностью бесконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + шаги + манипуляции руками!

Также вероятно развитие свежих способов защиты приватности – например, динамическое корректировка электронного образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных инноваций нашего эпохи! Она делает общение со телефоном удобнее чем когда-либо прежде, и такие приложения, как admiral-x, могут значительно повысить ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как функционирует эта система внутри, – будете в состоянии более осмысленно подбирать свой следующий гаджет!