Остановите меня, если вы видели это раньше: черно-белый пикселизированный квадрат вместо физического меню в ресторане.
QR-коды, казалось бы, повсеместны в повседневной жизни. Независимо от того, видите ли вы его на купоне в продуктовом магазине, на листовке на доске объявлений или на стене музейной экспозиции, каждый код содержит встроенные данные.
К сожалению, QR—коды в физических пространствах иногда заменяются или подделываются, чтобы обманом заставить вас передать ваши данные нежелательным лицам – казалось бы, безобидный набор пикселей может привести вас к опасным ссылкам и вирусам.
Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали еще один потенциальный вариант: BrightMarker, невидимую флуоресцентную метку, скрытую в объектах, напечатанных на 3D-принтере, таких как мяч, контейнер, чехол для гаджета или снаряжение. Исследователи полагают, что их система может улучшить отслеживание движения, виртуальную реальность и обнаружение объектов.
Чтобы создать BrightMarker, пользователи могут загрузить программный плагин команды CSAIL для программ 3D-моделирования, таких как Blender. Поместив тег в геометрию своего дизайна, они могут экспортировать его в виде STL-файла для 3D-печати. С помощью флуоресцентных нитей, вставленных в принтер, пользователи могут изготовить объект со скрытой меткой, очень похожий на невидимый QR-код. Пользователям нужно будет встроить свои маркеры в объект до того, как он будет создан, что означает, что теги не могут быть добавлены к существующим элементам.
Флуоресцентные материалы позволяют каждой метке излучать свет с определенной длиной волны ближнего инфракрасного диапазона, что делает их видимыми с высокой контрастностью в инфракрасных камерах. Исследователи разработали две подключаемые аппаратные установки, способные обнаруживать яркие маркеры: одну для смартфонов и одну для гарнитур дополненной реальности (AR) и виртуальной реальности (VR).
Оба устройства имеют возможность просматривать и сканировать маркеры, которые напоминают светящиеся в темноте QR-коды. Окружающие объекты можно было бы скрыть от глаз с помощью длиннопроходящего фильтра – еще одной прикрепляемой детали, которая улавливала бы только флуоресценцию.
Яркие маркеры незаметны невооруженным глазом — и ненавязчивы, что означает, что они не изменяют форму, внешний вид или функцию объекта. Это делает их защищенными от несанкционированного доступа, одновременно легко встраивая метаданные в физический мир. Добавив уровень связности между данными и физическими объектами, пользователи получат доступ к более интерактивному взаимодействию с окружающим миром.
“В современном быстро развивающемся мире, где границы между реальной и цифровой средами продолжают стираться, постоянно растет спрос на надежные решения, которые легко соединяют физические объекты с их цифровыми аналогами”, – говорит Мустафа Дога Доган, доктор философии Массачусетского технологического института CSAIL и факультета электротехники и компьютерных наук.
“BrightMarkers служат шлюзами к “вездесущим метаданным” в физическом мире. Этот термин относится к концепции встраивания метаданных — описательной информации об идентичности объекта, происхождении, функциях и многом другом — непосредственно в физические элементы, сродни невидимой цифровой подписи, сопровождающей каждый продукт.”
Яркие маркеры в действии
Их система показала себя многообещающей в условиях виртуальной реальности. Например, игрушечный световой меч со встроенным маркером яркости можно было бы использовать в качестве внутриигрового инструмента для перемещения по виртуальной среде, используя аппаратную часть для обнаружения меток. Этот инструмент мог бы включить другие внутриигровые объекты для более полного погружения в виртуальную реальность.
“В будущем, где доминируют парадигмы дополненной реальности и виртуальной реальности VR, распознавание объектов, отслеживание и прослеживаемость имеют решающее значение для соединения физического и цифрового миров: BrightMarker – это только начало”, – говорит приглашенный исследователь MIT CSAIL Рауль Гарсия-Мартин, который защищает докторскую диссертацию в Мадридском университете Карлоса III. “Бесшовное отслеживание BrightMarker знаменует собой начало этого захватывающего путешествия в будущее, основанное на технологиях”.
Что касается отслеживания движений, то BrightMarkers могут быть внедрены в носимые устройства, которые могут точно отслеживать движения конечностей. Например, пользователь мог бы носить браслет с имплантированным устройством BrightMarker, позволяющим аппаратному обеспечению обнаружения оцифровывать движения пользователя. Если бы геймдизайнер захотел создать аутентичный вид от первого лица, он мог бы смоделировать руки своих персонажей с учетом точного отслеживания каждого маркера. Система также может поддерживать пользователей с ограниченными возможностями и различными размерами конечностей, устраняя разрыв между цифровым и физическим опытом для широкой базы пользователей.
Яркие маркеры также можно было отслеживать по всей цепочке поставок. Производители на месте могли бы сканировать бирки в разных местах, чтобы получить метаданные о происхождении продукта и его перемещениях. Аналогичным образом, потребители могли бы проверить цифровую подпись продукта, чтобы подтвердить информацию об этичных источниках и утилизации, аналогично предлагаемым Европейским союзом цифровым паспортам продуктов.
Другое потенциальное применение: мониторинг ночного видения в камерах домашней безопасности. Если пользователь хотел убедиться, что его имущество находится в безопасности в течение ночи, можно было бы оборудовать камеру для наблюдения за объектами аппаратным обеспечением, предназначенным для отслеживания любых перемещений и уведомления владельца о них. В отличие от своих готовых аналогов, этой камере не нужно было бы снимать всю комнату пользователя, тем самым сохраняя его конфиденциальность.
Лучше, чем инфракрасные метки и воздушные метки
Работа Догана и его команды может показаться знакомой: ранее они разработали InfraredTags, технологию для встраивания данных на 3D-печатные метки в физические объекты, которая была номинирована на премию People’s Choice за лучшую демонстрацию на конференции ACM CHI 2022 по человеческому фактору в вычислительных системах.
В то время как их предыдущий проект работал только с черными объектами, у пользователей есть несколько вариантов цвета с помощью BrightMarker. Благодаря флуоресцентным материалам метки сконфигурированы таким образом, чтобы излучать свет с определенной длиной волны, что значительно облегчает их выделение и отслеживание, по сравнению с инфракрасными метками, которые могут быть обнаружены только при низкой контрастности из-за шума от других длин волн в захваченной среде.
“Флуоресцентные нити излучают свет, который может быть надежно отфильтрован с помощью нашего оборудования для обработки изображений”, – говорит Доган. “Это устраняет “размытость”, часто связанную с традиционными встроенными ненавязчивыми маркерами, и позволяет эффективно отслеживать объекты в режиме реального времени, даже когда они находятся в движении”.
По сравнению с AirTags от Apple, BrightMarkers отличаются низкой стоимостью и низким энергопотреблением. Однако, в зависимости от приложения, одно потенциальное ограничение заключается в том, что в настоящее время теги не могут быть добавлены к объектам post hoc. Кроме того, отслеживание каждой метки может быть затруднено, если рука пользователя или другой предмет в комнате загораживают обзор камеры.
В качестве средства для потенциального улучшения обнаружения команда рекомендует сочетать эту технологию с магнитными нитями, чтобы также можно было отслеживать магнитное поле объекта. Эффективность обнаружения маркеров также можно было бы улучшить, изготовив нити с более высокой концентрацией флуорохрома.
“Технологии погружения требуют мощных возможностей для понимания сцены”, – говорит научный сотрудник Google Мар Гонсалес-Франко, который не принимал участия в работе. “Наличие встроенных невидимых маркеров, подобных тем, что используются в BrightMarker, может упростить работу с компьютерным зрением и помочь устройствам идентифицировать объекты, с которыми можно взаимодействовать, и сократить разрыв между пользователями дополненной и виртуальной реальности”.
Доган с оптимизмом смотрит на потенциал системы по внедрению метаданных в нашу повседневную жизнь. “BrightMarker обладает огромными перспективами в плане изменения нашего взаимодействия с технологиями в реальной жизни”, – отмечает он. “Поскольку эта технология продолжает развиваться, мы можем представить себе мир, в котором яркие маркеры будут органично интегрированы в наши повседневные объекты, облегчая взаимодействие между физической и цифровой сферами.
“Возможности огромны – от розничной торговли, где потребители могут получить доступ к подробной информации о товаре в магазинах, до промышленных предприятий, где BrightMarkers упрощает отслеживание цепочки поставок”.