Въведение
Устройства с добавена реалност (AR) – смарт очила, дисплеи, монтирани на главата – наслагват цифрови изображения върху реалния свят. За да направят това убедително, те трябва да разбират околната среда, да проследяват движенията на главата и да улавят жестове. Всички тези функции зависят от специализиранитемодул на камератаединици. За разлика от типичната уеб камера, AR камерите се нуждаят от изключително ниска латентност, висока честота на кадрите, глобален затвор и компактен размер. Тази статия изследва видоветемодул на камератаизползваниза AR устройства, предимствата на anOEM модул на камератав дизайни по поръчка и как aUSB модул за камераили дорииндустриален модул за ендоскопска камераможе да информира развитието на AR.
Защо AR устройствата се нуждаят от специализирани камери
Типичните AR слушалки съдържат множество камери:
- Световни камери– заснемете реалната сцена за SLAM (едновременно локализиране и картографиране) и преминаване.
- Камери за проследяване на очите– наблюдавайте позицията на зеницата за фовеатно изобразяване и контрол на курсора.
- Сензори за дълбочина– измерване на разстояния за оклузия и взаимодействие на обекта.
Основни изисквания за тяхмодул на камератаединици:
- Глобален затвор– без замъгляване на движението, когато потребителят движи главата си бързо.
- Висока честота на кадрите– 60 fps или 120 fps за проследяване с ниска латентност.
- Ниска мощност– устройствата, работещи с батерии, се нуждаят от ефективни сензори.
- Малък размер– побира се в тънки очила или компактни слушалки.
- Добро представяне при слаба светлина– работи на закрито и през нощта.
1. Гледащи към света камери (SLAM и Passthrough)
Те често са монохромни или цветнимодул на камератасензори с глобален затвор. Разделителната способност варира от VGA до 2 MP. Популярните сензори включват OmniVision OV7251 (VGA, глобален затвор) и Sony IMX214 (ролетен затвор, използван с компенсация на движение). За слушалки от висок клас,OEM модул на камератапроизводителите персонализират обектива, за да постигнат широко зрително поле (100 градуса –150 градуса) без изкривяване.
A USB модул за камерапонякога се използва в комплекти за разработка или свързани AR устройства (очила, които се включват в компютър). За самостоятелни слушалки интерфейсът обикновено е MIPI CSI‑2 за ниска латентност.
2. Камери за проследяване на очите
Проследяването на очите изисква много бързо, чувствителномодул на камератаединици – често работещи със 120 fps или повече. Тези камери са малки (често по-малки или равни на 1 MP) и са разположени близо до очите на потребителя. Те трябва да са невидими или разположени зад IR-pass филтри. Повечето модули за проследяване на очите използват CMOS сензори с глобален затвор с близка инфрачервена чувствителност.
Аниндустриален модул за ендоскопска камеране се използва директно за проследяване на очите (твърде голям е), но методите за миниатюризация – малки лещи, гъвкави печатни платки – са пряко приложими.
3. Дълбокочувствителни камери
AR устройствата използват няколко технологии за дълбочина:
Стерео визия– двемодул на камератаединици една до друга, изчисляване на несъответствието.
Структурирана светлина– IR проектор и aмодул на камерата(с IR‑pass филтър) прочетете модела.
Време на полет (ToF)– специален ToF сензорен модул.
За стерео, aперсонализиран OEM модул на камератадвойката с фабрично калибриране е от съществено значение. Двете камери трябва да имат еднакви обективи и да са фиксирани в твърд корпус.
4. Камери за жестове и проследяване на ръце
Някои AR устройства използват обърнати надолу или навънмодул на камератаединици за проследяване на ръцете. Те се нуждаят от широко зрително поле и глобален затвор, за да заснемат бързи жестове. Разделителната способност често е 720p или 1080p.
Защо OEM модулите на камерата са критични за AR
Нестандартномодул на камератапродуктите рядко отговарят на всички изисквания за AR. АнOEM модул на камератаподход позволява:
Персонализиран обектив – специфичен FOV, бленда и профил на изкривяване.
Персонализирана форма на печатна платка – за да се побере в ограничено пространство.
Персонализиран интерфейс – MIPI (ниска латентност), не USB.
Фабрично калибриране – за стерео двойки или ToF подравняване.
Настройка на ниска мощност – за удължаване на живота на батерията.
Много AR стартиращи компании започват с aUSB модул за камерапрототип (с помощта на UVC) за тестване на алгоритми. След като дизайнът узрее, те си партнират с anOEM модул на камератадоставчик за създаване на готов за производство модул.
Как модулът на промишлена ендоскопска камера е свързан с AR
Аниндустриален модул за ендоскопска камерае предназначен за проверка на тръби – той е дълъг, тънък и водоустойчив. Въпреки че не се използват директно в AR очила, техниките за миниатюризация (лещи с малък диаметър, гъвкави печатни платки, сензори с ниска мощност) са заимствани от дизайнерите на AR камери. Например, 2 mm ендоскопска камера използва същите малки сензори за глобален затвор, които в крайна сметка могат да се поберат в интелигентни очила.
Основни спецификации на камерата за AR
| Тип камера | Резолюция | Честота на кадрите | затвор | Интерфейс |
|---|---|---|---|---|
| С лице към света (SLAM) | VGA – 2 MP | 60–120 fps | Глобален | MIPI |
| Проследяване на очите | 0,3–1 MP | 120 fps | Глобален | MIPI |
| Дълбочина (стерео) | 1–2 MP всяка | 30–60 кадъра в секунда | Глобален | MIPI |
| Проследяване на ръцете | 720p – 1080p | 30–60 кадъра в секунда | Глобален | MIPI |
USB камера модул в AR прототипиране
A USB модул за камера(UVC) е отличен инструмент за създаване на прототипи. Можете да свържете една или две USB камери към компютър и да тествате SLAM, проследяване на ръцете или оценка на дълбочината с помощта на OpenCV. След като софтуерът заработи, преминавате къмOEM модул на камератас MIPI за крайния хардуер. Този двуетапен подход спестява време и намалява риска.
Камерни модули на Sincere за AR устройства
В Sincere ние предоставямемодул на камератарешения за нововъзникващи AR приложения:
OEM модул на камерата– персонализирани дизайни за гледане към света, проследяване на очите и стерео дълбочина.
USB модул за камера– за създаване на прототипи и свързани AR устройства.
Индустриален модул за ендоскопска камера– нашият опит в миниатюризацията се отнася директно за малки AR камери.
Резюме
Модули за камериизползваниза AR устройствавключват устройства за гледане към света (SLAM), проследяване на очите, наблюдение на дълбочина и проследяване на ръцете. Те се нуждаят от глобален затвор, високи кадрови честоти, ниска мощност и малки отпечатъци. АUSB модул за камерае страхотно за създаване на прототипи, но производствените AR слушалки разчитат наOEM модул на камератадизайни с персонализирани лещи и MIPI интерфейси. Техники за миниатюризация отиндустриален модул за ендоскопска камерапродуктите също са от полза за инженерството на AR камери. Независимо дали изграждате комплект за разработчици или масово произвеждани слушалки, изборът на правилния модул на камерата е от ключово значение за убедително изживяване с добавена реалност.
