Контактные линзы с дополненной реальностью

Человеческий глаз – это центр восприятия. Он может видеть миллионы цветов, свободно подстраиваться под смену освещения и транслировать информацию в мозг со скоростью превышающей скорость интернет соединения.

Современная биомедицина

В фильме Терминатор персонаж Арнольда Шварцнеггера видел мир с помощью визуального преобразователя данных в виде виртуальных субтитров, которые возникали во время сканирования киборгом окружающего мира.

В научно-фантастических историях, написанных фантастом Вернором Винджем (Vernor Vinge), персонажи используют электронные контактные линзы, а не смартфоны и мозговые импланты, для беспрепятственного доступа к информации, возникающей прямо перед глазами.

Эти так называемые визоры могут показаться чем-то невозможным, но контактные линзы со встроенной простейшей электроникой уже используются. Как факт, Бабак Парвиз, доцент кафедры электротехники, и его студенты уже создали такие приспособления, в небольшом количестве в лаборатории Вашингтонского университета в Сиэтле. Эти линзы не дают орлиного зрения или бегущих субтитров, описывающих все, что нас окружает, но они создали линзы с одним диодом и с беспроводным радиочастотным питанием. Хотя их сегодняшние технологические достижения – это всего лишь малая доля того потенциала, который будет доступен в будущем.

Обычные контактные линзы являются полимерами специальной формы для корректировки изъянов зрения. Что бы расширить функциональность таких линз, Парвиз и его студенты интегрировали схему управления, схему коммуникации и миниатюрные антенны в линзу, используя специальные оптоэлектронные компоненты. Эти компоненты в конечном счете будут включать в себя тысячи диодов, которые будут формировать картинки, прямо перед глазом, будь то слова, диаграммы или фотографии. Большая часть составных частей линзы должна быть полупрозрачна, чтобы не дезориентировать пользователей. По всей вероятности, отдельные портативные устройства будут выводить отображаемую информацию, обработанную оптоэлектроникой, на контрольную панель линзы.

При использовании этих линз не возникает особых сложностей. Даже с одним пикселем линза уже способна помочь людям с ослабленным слухом или может использоваться в качестве индикатора в компьютерных играх. С большим количеством цветов и разрешений, ее возможности могут быть расширены, включая отображение текста, перевод с языка на язык в реальном времени в виде субтитров или вывод визуальных сигналов навигационной системы. С базовой обработкой изображений и доступом в интернет, дисплеи контактных линз смогут открыть целый новый мир визуальной информации без необходимости использования обычного дисплея.

Наряду с визуальной модернизацией, устройство осуществляющее неинвазивный мониторинг биомаркеров пользователя и выводящее показатели его здоровья может стать распространенным продуктом на рынке будущего. Бабак Парвиз и его студенты сконструировали несколько примеров сенсоров, которые могут определять концентрацию молекул, таких как глюкоза. Датчики, встроенные в линзы, позволят диабетикам контролировать уровень сахара в крови без необходимости прокалывать палец. Сейчас определитель глюкозы это не более чем отблеск того, что станет возможным через пять-десять лет.

Контактные линзы используются повседневно миллионами людей и они являются одним из самых доступных массовых продуктов, которые пребывают в постоянном контакте с телом на протяжение долгого времени. Когда вы проходите анализ крови, ваш доктор вероятно измеряет множество одинаковых биомаркеров, которые найдены в живых клетках на поверхности вашего глаза, концентрация которых близко коррелирует с их уровнем в вашем кровотоке. Специально настроенные контактные линзы могут контролировать уровень холестерина, натрия и калия, для определения нескольких потенциальных угроз. В паре с беспроводной антенной, линза может транслировать информацию медицинскому персоналу мгновенно, без использования игл и химической лаборатории и с очень низким процентом ошибок.

Три фундаментальных проблемы стоят на пути создания многофункциональной контактной линзы. Первая – процесс изготовления многих частей линзы и различных деталей несовместимы друг с другом и с хрупким полимером линзы. Чтобы обойти эту проблему, Бабак Парвиз со своими студентами создают свои устройства с нуля. Чтобы произвести компоненты для кремниевых микросхем и диодов ими используются высокие температуры и едкие химикаты – это означает, что эти компоненты нельзя изготавливать прямо на линзе. Это приводит ко второй проблеме: все компоненты линзы должны быть миниатюрными и встроенными в прозрачный гибкий полимер площадью полтора квадратных сантиметра.

Пока что ученые полностью не решили эту проблему, но они уже разработали свой собственный процесс сборки, позволяющий интегрировать несколько различных компонентов в линзу. Последнее, но не менее важное требование – устройство должно быть абсолютно безопасным для глаза. Возьмем, например, диод. Большинство красных диодов сделаны из алюминия и арсенида галлия, которые весьма токсичны. Поэтому перед соприкосновением диода с глазом, он должен находиться в биосовместимой субстанции.

На данный момент, кроме измерителя количества глюкозы, Бабак Парвиз и его студенты смогли изготовить несколько других наноразмерных биосенсоров, которые отвечали электрическим сигналом при контакте с определенными молекулами. Ученые также создали несколько микрокомпонентов, включая однокристальные кремниевые транзисторы, радиочипы, антенны, диффузионные резисторы, диоды и кремниевые фотодетекторы. Помимо этого ими были сконструированы все микронные металлические соединения, необходимые для формирования схемы контактной линзы.

К тому же, ученые показали, что эти микрокомпоненты могут быть объединены путем процесса самосборки на других специальных субстратах, таких как тонкий, гибкий и прозрачный пластик или стекло. Бабак Парвиз и его студенты создали прототип линз с диодом, маленьким радиочипом и антенной и передавали энергию в линзу, используя беспроводную систему для работы светодиода. Чтобы продемонстрировать, что такие линзы могут быть безопасны, они инкапсулировали их в биосовместимый полимер и успешно протестировали их на живых кроликах.

Наблюдение излучаемого светодиодом света – это большое достижение. Но первоначальная цель – увидеть что-то полезное через эту линзу. К счастью, человеческий глаз является невероятно чувствительным фотодетектором. Точно в полдень безоблачным днем через наш зрачок проходит много потоков света и мир становится несомненно ярче. Но глазу не нужна оптическая поддержка, он может воспринимать картинки с лишь несколькими микроваттами оптической мощности, проводимой через его линзу. ЖК монитор компьютера также расточителен. Он посылает большое количество фотонов, но лишь небольшая их часть попадает в ваш глаз, и достигая сетчатки, формирует картинку. Но, когда дисплей расположен прямо на вашей роговице, каждый фотон, генерируемый этим дисплеем помогает формировать картинку.

Привлекательность такого подхода очевидна: со светом исходящим из линзы непосредственно в ваш зрачок, а не из внешнего источника, для формирования картинки вам потребуется затрачивать гораздо меньше энергии. Но как получить свет из линзы? Ученые рассмотрели два основных подхода. один из вариантов – сконструировать в линзе дисплей, основанный на наборе светодиодных пикселей, так называемый активный дисплей. Альтернативой этому является использование пассивных пикселей, которые скорее просто преломляют входящий свет, а не излучают свой собственный.

По сути, они формируют изображение, изменяя свой цвет и прозрачность, реагируя на источник света. Они похожи на ЖК-дисплеи, в которых крошечные жидкокристаллические «барьеры» блокируют белый свет, либо пропускают его через красный, зеленый или голубой фильтры. Для пассивных пикселей функциональной контактной линзы источником света должна быть окружающая среда, цвета не будут такими же точными, как у ЖК-дисплея со светодиодной подсветкой, но изображения будут такие же отчетливые и в хорошем разрешении.

Бабак Парвиз и его студенты в первую очередь проявили активный подход и сделали линзы, на которых может разместиться набор светодиодов восемь на восемь. Пока что активные пиксели проще прикреплять к линзам. Но если ученые смогут понять как сделать пассивные пиксели меньше, с высокой контрастностью и способными быстро реагировать на внешние сигналы, то с их использованием значительно снизится потребность питания.

Сейчас вы наверное удивитесь, как человек, носящий одну из подобных контактных линз, сможет фокусироваться на изображении возникшем на поверхности его глаза. Тем не менее, здоровый глаз не может фокусироваться на объекте, который находится ближе, чем на 10 см от поверхности роговицы. Светодиод сам по себе лишь размытое цветное пятно в поле зрения пользователя. Так или иначе, изображение должно отталкиваться от роговицы. Единственный способ сделать это – использовать набор более мелких линз, расположенных на поверхности контактной линзы. Набор таких микролинз уже использовался ранее для фокусировки лазеров в фотолитографии для расположения световых узоров на фоторезист. На контактной линзе каждый пиксель или небольшая группа пикселей должны соответствовать микролинзе, расположенной между глазом и пикселями. Расположение пикселя и микролинз на 360 микрометров друг от друга вполне достаточно для того, чтобы виртуальное изображение отталкивалось от роговицы, упрощая процесс фокусировки глаза. Пользователю будет казаться, что изображение возникает в пространстве на расстоянии полуметра от него, в зависимости от микролинзы.

Другой вариант сделать изображение четким – использовать сканирующий микролазер или набор микролазеров. Лазерные лучи рассеиваются гораздо меньше, чем свет светодиодов, поэтому изображение будет четче. А что-то вроде зеркала будет сортировать красные, зеленые и голубые лучи, генерируемые лазером, для получения изображения. Разрешение картинки будет ограничено в первую очередь толщиной луча и лазер будет очевидно очень маленьким, что в свою очередь, может стать серьезной проблемой. Как бы там ни было, использование лазеров станет гарантией того, что изображение всегда будет в фокусе и это исключит необходимость использования микролинз.

Вне зависимости от того, что используется в дисплеях линз – светодиоды или лазеры, площадь доступная для оптоэлектроники на поверхности контактной линзы будет очень мала, примерно, 1,2 миллиметра в диаметре. К тому же дисплей должен быть полупрозрачным, чтобы пользователь мог видеть все, что его окружает. Это серьезное требование, но ведь нет ничего невозможного.

Диаметр светодиодных чипов, созданных Бабаком Парвизом, составляет 300 микрометров, а светоизлучающая зона каждого чипа равна 60 микрометрам, с радиусом 112 микрометров. Команда Парвиза старается значительно сократить размеры и их цель состоит в создании набора из 3600 пикселей шириной 10 микрометров, расположенных на расстоянии 10 мкм друг от друга.

Самое сложное поместить этот дисплей на глазу таким образом, чтоб, он не мешал при этом подвижности зрачка. Обычные контактные линзы, исправляющие астигматизм, утяжелены книзу, для поддержания специального положения линзы, плюс-минус несколько градусов.

Как и портативная электроника, эти линзы подпитываются от специальных источников, но среди предложенных опций, пока ни одна не подошла. Например, батареи сложно уменьшить чтоб они помещались в таком ограниченном пространстве, а использование литий-ионных батарей опасно для глаза. Лучшими вариантами пока остаются сбор инертной энергии от окружающей среды, путем преобразования окружающих колебаний в энергию, либо подпитка от солнечной или радиочастотной энергии. Большинство инерционных подпиток имеют очень низкий показатель мощности, поэтому ученые сфокусировались на подпитке линз от солнечной или радиочастотной энергии.

Давайте представим, что 1 кв.см. линзы – площадь предназначенная для энергоснабжения, и скажем, что эта область будет занята солнечными батареями. Это означает, что почти 300 микроватт поступающей энергии будут доступны внутри и гораздо больше будет доступно снаружи. C коэффициентом преобразования в 10 процентов эти данные будут передавать до 30 микроватт доступной электроэнергии, в том случае, если все подсистемы контактной линзы функционируют внутри.

Сбор радиочастотной энергии из источника в кармане пользователя даст несущественный эффект. При таком положении линза скорее будет содержать антенны, а не фотоэлектрические клетки. Вывод антенн будет ограничен полями силы допустимыми на разных частотах в пучках микроволн между 1.5 и 100 Ггц, в то время как допустимый для человека уровень равен 1 милливатту на квадратный сантиметр. Для наших прототипов мы создали первое поколение антенн, которые транслируют в диапазоне от 900 мегагерц, до 6 Ггц и мы работаем над более эффективными версиями. Так из участка линзы в один квадратный сантиметр мы можем получить 100 микроватт, в зависимости от производительности антенны и схемы преобразования.

Если все эти подсистемы будут работать, то последней задачей станет их объединение на одном тонком, полимерном диске. Напомним те части, которые надо уместить в линзе: металлические микроструктуры, для формирования антенн; составной полупроводник, для создания оптоэлектронных устройств; дополнительный, улучшенный металл-оксид-проводник кремниевых схем для маломощных настроек и радиочастотных коммуникаций; микроэлектромеханическая система (МЭМС) датчиков и резонаторов для настройки частот РЧ коммуникаций; и покрытие сенсоров находящихся в реакции с биохимической средой.

В процессе создания полупроводника большая часть компонентов, которые использовал Парвиз, не будет работать, потому что они термически и химически несовместимы с гибкой полимерной основой линзы. Что бы обойти эту проблему Парвиз и его студенты отдельно создали большинство микрокомпонентов на КНИ (кремний на изоляторе) – пластинах и изобрели светодиоды и некоторые биосенсоры на других основах. Каждая часть имеет металлические соединения и травится в уникальной форме. Конечный продукт представляет собой набор частей, похожих на мелкозернистый порошок, который в дальнейшем внедряется в линзу.

Парвиз и его студенты уже начали готовить субстрат, который будет держать все микрокомпоненты. Слой полиэтилентерефталата толщиной 100µm. Субстрат имеет определенные фотолитографические металлические линии соединения и связующие области. Эти области слегка вдавлены на глубину около 10 µm, в местах, где будут проходить электрические соединения между компонентами и матрицей. На дне каждого углубления есть микробассейн со сплавами низкой температуры плавления, который позже будет соединять два межсоединения, где будет осуществляться микроспайка.

Затем пластиковая основа линзы погружается в жидкую среду и на нее напыляется набор микрокомпонентов. Узлы связи разрезаются, чтобы соответствовать геометрии отдельных частей, так что треугольный компонент находится в треугольном углублении. Маленькая металлическая прокладка на поверхности компонента способствует контакту со сплавами на дне углубления, а капиллярная сила закрепит компонент на нужном месте. После того, как, все части расположатся в нужных ячейках, ученые понижают температуру до затвердевания сплава. Этот этап фиксирует механический и электрический контакт между компонентами, соединениями и субстратом.

Далее важно убедиться, что все потенциально вредные компоненты, которые были собраны воедино, полностью безопасны для глаза. Линзы, которые разработали Парвиз с командой студентов, напоминают уже существующие контакты с небольшими участками воздухонепроницаемого материала, вокруг электронных компонентов. Они герметизировали функциональные части полиметилметакрилатом, в то время, как полимер использовался для создания более раннего поколения контактных линз.

Дальше возникает вопрос взаимодействия тепла и света с глазом. Важно не только снизить электропотребление системы для экономии энергии, но и так же важно, чтобы тепло выделяемое линзой не вредило глазу, так что температура должна быть не выше 45°C. Ученым предстоит полностью исследовать эту проблему, но предварительный анализ показал, что нагрев линзы не будет большой проблемой.

Все основные технологии, необходимые для создания функциональной контактной линзы, уже существуют. Бабак Парвиз и его студенты опробовали несколько прототипов на животных и доказали, что платформа может быть безопасной. Что им необходимо сделать сейчас, так это показать, что все подсистемы работают вместе, сделать некоторые компоненты еще меньше и увеличить радиочастотную мощность для улучшения производительности продукта и увеличения дистанции на расстояние больше, чем несколько сантиметров, которые сейчас имеются. Также они должны сделать сопутствующее устройство, которое будет делать все необходимые вычисления или обработку изображений, чтобы точно доказать, что система может формировать изображения по требованию. Ученые начали с простого продукта – контактной линзы с одним источником света и они намерены разработать более сложные линзы, которые будут накладывать генерируемую компьютером цветную графику высокого разрешения на поле зрения пользователя.

Созданы контактные линзы дополненной реальности!

Представьте, что любуетесь закатом солнца, последними мигом уходящего дня, одновременно с тем видя в левом верхнем углу неба страничку в Facebook. Такую возможность вам предоставят контактные линзы с дополнительной реальностью – новинка нового 2014 года.

Контактные линзы с дополнительной реальностью уже не будущее, а настоящее! В рамках одной из самых крупных и влиятельных выставок потребительской электроники CES, что проходила с 7 по 10 января сего 2014 года в Лас-Вегасе, компанией Innovega была представлена новинка — контактные линзы с дополнительной реальностью.

Эта разработка получила имя iOptik. Главное ее достоинство в том, что она позволяет видеть «дополнительную реальность» на фоне того, что видит непосредственно глаз. Например, вы можете идти по улице, смотреть по сторонам и одновременно с тем проглядывать страничку в Facebook.

Как это работает?

Контактные линзы размещаются на глазном яблоке счастливого владельца. Затем надеваются облегченные очки, которые выступают в роли микропроекторов и — вуаля: изображение на экране! Качество новой дополнительной картинки сравнимо с просмотром изображения на телевизоре с широкой диагональю экрана, как заявляет главный исполнительный директор Innovega Стив Уилли.

Для того чтобы показать, как такие линзы будут работать, ученные исследователи проделали опыт с фотоаппаратом. На его линзу поместили контактную линзу, приложили специальные очки, и на экране появилось изображение: на фоне комнаты (где проходил опыт и куда был направлен объектив) появилось окошко видеопроигрывателя, который показывал мультфильм «В поисках Немо».

Как управлять дополнительной реальностью?

Такие контактные линзы сопрягаются со смартфонами, которые работают под управлением операционной системы Android. Таким образом, владелец чудо-линз сможет перемещать, менять окошки.

Почему видно сразу две картинки?

Дело в том, что новые контактные линзы состоят из микроскопических фильтров, которые перенаправляют свет, испускаемый очками, в центр зрачка, а свет из окружающего – на его край. Таким образом, сетчатка регистрирует одновременно два изображения.

Когда новинка появиться на рынке?

К сожалению, данная разработка требует еще многих проверок для получения разрешения выйти в продажу. Но все же самый оптимистичный прогноз компания Innovega дает на 2015 год. К этому времени iOptik должны пройти все тесты и заиметь своего производителя.

Есть ли альтернативы?

Южнокорейские исследователи в 2013 году поделились с миром и своими новинками – мягкими линзами с функцией видеозаписи, что не требуют дополнительных очков как линзы iOptik.

Ждем с нетерпением на рынке!

Мечтали о суперзрении? «Умные линзы» Innovega iOptik сделают мечту реальностью

Хватит рассматривать «умные очки» как единственный гаджет, способный открыть перед их обладателем комбинированный мир с реальной и виртуальной составляющими. Американская компания Innovega считает, что будущее находится за линзами, позволяющими перенести их носителя в самую настоящую виртуальную реальность, предоставляя при этом максимально возможный угол зрения. На CES 2014 были представлены контактные линзы с дополненной реальностью Innovega iOptik, старт проекта над которыми взял своё начало в 2012 году. Изначально Innovega сотрудничала с агентством DARPA, а там, где есть DARPA , там сразу видится применение разработок в военных нуждах. Но никто не запрещает перенести уже готовые технологические решения для эксплуатации линз в мирных условиях и с информационно-развлекательной целью, что и было продемонстрировано общественности на выставке в Лас-Вегасе.

Принцип работы гаджета iOptik, который состоит из самих контактных линз и специальных очков-проекторов, заключается в следующем: линзы выполняют роль дисплеев, на которые два миниатюрных проекторных устройства, располагающихся в специальных очках, передают цифровые сведения. Проецируемая информация сначала проходит через центральный фильтр линзы и, в конечном итоге, фокусируется на сетчатке. Информация о реальном мире обрабатывается так называемыми внешними или периферийными фильтрами линзы. Соединение целостной картины происходит уже непосредственно на сетчатке органа зрения.

Кроме возможности демонстрации цифрового контента, отличительной особенностью iOptik является способность качественно улучшить зрение, позволяя фокусироваться и чётко видеть все детали рассматриваемого объекта, как при очень близком расположении предмета перед вами, так и дальнем. К примеру, вы можете поднести к глазу палец и увидеть мельчайшие детали, что невозможно было бы сделать в обычной ситуации, так как глаз просто не способен естественным образом сфокусироваться при слишком близком расположении объекта. Представьте, что у вас появится способность прочитать текст с самым мелким шрифтом и детально рассмотреть фюзеляж самолета, если тот, конечно, не будет на слишком большой высоте. Одновременно можно будет вывести для отображения сразу несколько информационных окон.

«Многие компании сейчас заняты разработками умных очков вроде Google Glass и других устройств из этой области, однако они сталкиваются со строгими ограничениями в границах обзора. Использование линз и очков iOptik многократно расширит ваше поле зрения. Это примерно то же самое, что смотреть в экран огромного ТВ, в то время как представленные на рынке решения схожи на просмотр контента на дисплее смартфона», — заявил пресс-секретарь Innovega. Система iOptik обладает шестикратно превосходящим разрешением и в 20 раз большей площадью обзора. Представьте себе, какие возможности открывает пользователю данное устройство.

Прототип продемонстрированного на CES 2014 тандема устройств мог взаимодействовать с операционной системой Android, однако дополнительные модули, вроде гироскопа, акселерометра, магнитного компаса и даже видеокамеры, в гаджете пока что отсутствовали.

В качестве классического варианта линзы iOptik можно использовать и отдельно, однако если вам необходима цифровая информация из дополнительной реальности и все возможности суперзрения, то тогда вы должны надеть комплектные очки. Благодаря встроенным в них небольшим проекторам, отображение медиа-информации, работа с приложениями и практически всё остальное, что может и Google Glass, будет происходить с одним неоспоримым преимуществом: вы будете видеть всё, что попадает в ваше поле зрения.

Компания надеется, что в будущем данная технология сможет полностью вытеснить смартфоны. Также в перспективе сотрудничества находятся и медицинские компании. К 2015 году Innovega iOptik расчитывает получить одобрение со стороны Министерства здравоохранения и социальных служб США и выйти с разработкой на массовый рынок. И как не случайно было указано выше, руководство делает ставку именно на технологию, что роднит их политику с принципами реализации проекта израильской фирмы Lumus. Последняя планирует ориентироваться на продажу не самих «умных очков» Lumus DK40, а линз для разработчиков, желающих принять участие в гонке умных технологий. Innovega же рассматривает продажу другим компаниям разработанной технологии, чтобы на её основе можно было создать собственное инновационное устройство.

К сожалению, пока что разработчики не смогли представить «умные линзы», которые могли бы обходиться без дополнительного устройства вроде очков со встроенными проекторами. Однако Innovega iOptik — это уже серьезный и осознанный шаг в сторону развития технологии. Конечно, в будущем подобные линзы столкнутся с многочисленными протестами со стороны тех, кто считает применения подобных устройств с возможностью вести незаметное видеонаблюдение без чьего-либо согласия вопиющим нарушением прав человека и вторжением в его частную жизнь. Рано или поздно производители сумеют оснастить «умные линзы» возможностью беспрерывной записи видео в высоком разрешении и повсеместным доступом к облачным хранилищам. Пока что это лишь теория, но судя по разработке Innovega — дополнительная реальность в повседневной жизни уже не за горами.

Активные тест-драйв iOptik сотрудники компании начнут уже в этом году, испытывая приспособление на себе.

Во избежание долгих и разорительных судебных тяжб со стороны известной всем компании и ненужных ассоциаций, букву «i» в названии линз производителю стоило бы всё же убрать.

Samsung намерена запатентовать многослойные контактные линзы дополненной реальности и способ их производства

Обнародованная недавно патентная заявка компании Samsung, оформленная в южнокорейском патентном ведомстве ещё в 2014 году, содержит подробное описание контактной линзы с возможностью отображения аннотированной информации (дополненной реальности) с помощью встроенного дисплея, а также методы её функционирования и производства.

Контактная линза будущего по версии Samsung содержит дисплей в центре, камеру, антенну и ряд датчиков, которые способны регистрировать движения пользователя — в том числе используемое для ввода данных моргание. Она способна обмениваться данными с другими устройствами, такими как смартфоны, по радиоканалу. Для создания миниатюрного гаджета базовый слой, расположенный на специальной подложке, формуется с пазом для интеграции дисплея, а затем закрывается защитной плёнкой, судя по всему защищающей и электронику, и пользователя. Линза имеет многослойную конструкцию, один из слоёв которой содержит светоизлучающую диодную матрицу. Плотность диодов в ней снижается по мере удаления от центра.

Вычисления производятся на сопряжённом устройстве со специальным программным обеспечением.

Главной причиной разработки таких устройств называются технические ограничения смарт-очков по качеству картинки и более естественная передача дополненной реальности через контактные линзы.

Аналогичный проект вынашивает американский холдинг Alphabet. Его экспериментальная разработка уже обрела статус самостоятельного бизнеса. Последние значительные известия из проекта просочились в прессу в начале 2014 года. Тогда стало известно, что Google занимается разработкой контактных линз с миниатюрным процессором, антенной и датчиком глюкозы в крови. Они могут дать диабетикам возможность всегда знать свой уровень сахара в реальном времени: датчик считывает информацию раз в секунду и отправляет её по беспроводному соединению на внешний приёмник (например, смартфон). Также было заявлено, что в перспективе в линзы встроят миниатюрные светодиоды, которые смогут показывать полезную информацию — скажем, оповещения.

Дополненная реальность в контактных линзах

Эта статья была написана будущим основателем и руководителем проекта Google Glass доцентом кафедры электротехники Вашингтонского университета Бабаком Парвизом в 2009 году. В ней специалист по бионическим контактным линзам рассказывает о своём опыте их разработки в одной из самых передовых в данной области команд учёных. То, что материалу уже стукнуло полные три года, вовсе не значит, что он потерял актуальность. Напротив, обговариваемые в нём вещи и сегодня кажутся большинству людей научной фантастикой, и через призму знания о разработках, проводившихся несколько лет назад человеком, ответственным за сегодняшнюю революцию нательных компьютеров, мы все можем по-новому взглянуть на появляющийся рынок потребительских устройств дополненной реальности. Пока Google даёт нам привыкнуть к нательным компьютерам с камерой как классу электроники, в лабораториях уже многие годы ведутся разработки гораздо более миниатюрных и незаметных устройств, которые в будущем смогут стать ещё одной ступенькой к имплантации компьютеров непосредственно в органы нашего тела и, возможно, появлению нового вида человеческого существа благодаря технологическим достижениям самого человека. Вполне вероятно, что уже нынешнее поколение людей застанет новую эпоху в истории высших приматов — киборгизацию. А дорога к этому вымощена постоянно теряющимися одноразовыми прозрачными кружочками.

Алексей Лисовицкий, главный редактор ARNext.ru

Человеческий глаз — генератор восприятия. С его помощью можно видеть миллионы цветов, он легко настраивается на изменяющиеся условия освещения и передаёт информацию в мозг со скоростью, превышающей возможности высокоскоростного интернет-соединения.

Но зачем на этом останавливаться?

В фильмах о Терминаторе персонаж Арнольда Шварцнегера видит мир вместе с данными, которые накладываются на его поле зрения — виртуальными комментариями, улучшающими сканирование сцены роботом. В научно-фантастических рассказах Вернора Винджа (Vernor Vinge) персонажи полагаются на электронные контактные линзы, а не на смартфоны или мозговые имплантанты, для беспрепятственного доступа к информации, которая появляется прямо перед их глазами.

Эти взгляды (если позволите) могут показаться надуманными, но контактные линзы с простой встроенной электроникой уже на самом деле находятся в пределах нашей досягаемости — мои студенты и я уже производим такие устройства в небольшом количестве в моей лаборатории Вашингтонского университета Сиэттла. Эти линзы ещё не дают нам орлиное зрение и не приносят пользу через субтитры на нашем окружении. Но мы создали линзу с одним светодиодом, питающимся без проводов по радиосвязи. То, что мы делали до сих пор, служит лишь скромным намёком на будущие возможности этой технологии.

Обычные контактные линзы являются полимерами, обличёнными в конкретную форму для компенсации нарушений зрения. Чтобы включить такую линзу в функциональную систему, мы интегрируем цепи управления, коммуникационные цепи и миниатюрные антенны в линзу с использованием сделанных на заказ оптоэлектронных компонентов. В конечном счёте эти компоненты будут включать сотни светодиодов, формирующих изображения со словами, диаграммами и фотография, перед глазом. Большая часть аппаратного обеспечения полупрозрачна, так что пользователи могут перемещаться, не врезаясь и не испытывая дезориентацию. По всей вероятности отдельное портативное устройство будет отправлять информацию для отображения на управляющую цепь линзы, которая, в свою очередь, будет оперировать оптоэлектроникой.

Этим линзам не нужно быть очень сложными, чтобы приносить пользу. Даже линза с одним пикселем может помочь людям с нарушениями слуха или работать в качестве индикатора в компьютерных играх. С большим количеством цветов и увеличенным разрешением область применения может быть расширена за счёт включения отображения текста, перевода речи в виде титров в реальном времени или визуальных сигналов от навигационной системы. C базовой обработкой изображений и доступом в интернет дисплей-контактная линза может открыть целый мир визуальной информации, свободной от ограничений физического дисплея.

В проведённых на момент публикации статьи исследованиях кролик носил линзы с металлическими цепями в течение 20 минут за один раз без каких-либо побочных эффектов.

Помимо визуального усиления, в будущем огромный рынок может сформировать неинвазивный мониторинг биологических маркеров и показателей здоровья пользователя. Мы создали несколько простых датчиков, которые могут обнаруживать повышенную концентрацию молекул, таких как молекулы глюкозы. Встроенные в линзы сенсоры позволили бы владельцам-диабетикам следить за уровнем сахара в крови без необходимости укола пальца. По нашим оценкам нынешние детекторы глюкозы являются лишь проблеском того, что будет возможно в ближайшие 5-10 лет. Ежедневно контактные линзы носит более сотни миллионов человек, и они являются одним из немногих одноразовых массовых продуктов, который через слизистые соприкасается с внутренней поверхностью тела в течение длительного времени. Когда вы получаете анализ крови, ваш врач, вероятно, исследует многие из тех же биомаркеров, которые находятся в живых клетках на поверхности глаза — и в концентрациях, которые тесно коррелируют с уровнем в крови. Правильно настроенные контактные линзы могли бы контролировать уровень холестерина, натрия и калия в крови, чтобы назвать несколько потенциальных необходимостей. В сочетании с беспроводным передатчиком данных линза может передавать информацию медикам мгновенно без игл и анализов с гораздо меньшим шансом на путаницу.

На пути создания многоцелевых контактных линз есть три фундаментальные проблемы. Во-первых, способы изготовления многих частей линзы и подсистем несовместимы друг с другом и хрупким линзовым полимером. Чтобы обойти эту проблему, мы с коллегами создаём все устройства с нуля. Для изготовления компонентов для кремниевых схем и светодиодов мы используем высокие температуры и агрессивные химические вещества, что подразумевает невозможность их размещения непосредственно на линзе. Это приводит ко второй проблеме — к тому, что все ключевые компоненты должны быть миниатюрными и интегрированными в приблизительно полтора квадратных сантиметра гибкого прозрачного полимера. Пока мы не решили эту проблему, но уже далеко зашли в разработке собственного специализированного сборочного процесса, что позволяет нам объединить несколько различных видов компонентов на линзе. Последней по порядку, но не по важности, является проблема того, что вся эта штуковина должна быть полностью безопасной для глаз. Для примера возьмём светодиод. Большинство красных светодиодов выполнены из токсичного арсенида алюминия-галлия. Поэтому прежде чем светодиод сможет оказаться в глазе, он должен быть укутан в биосовместимое вещество.

До сих пор, помимо нашего глюкозного монитора, мы смогли изготовить несколько других наноразмерных биосенсоров, которые реагируют на молекулы-мишени с электрическим сигналом; мы также сделали несколько компонентов микроскопического масштаба, включая монокристаллические кремниевые транзисторы, радиочипы, антенны, диффузионные резисторы, светодиоды и кремниевые фотодетекторы. Мы сконструировали все микрометровые металлические соединения для формирования схемы на контактной линзе. Мы также продемонстрировали, что эти микрокомпоненты могут быть интегрированы посредством процесса самосборки на другие нетрадиционные субстраты, такие как тонкие гибкие прозрачные пластмассы или стекло. Мы изготовили прототипы линз со светодиодом, миниатюрным радиочипом и антенной, и передавали энергию, подсвечивающую светодиод, линзе, по беспроводной связи. Чтобы продемонстрировать, что линзы могут быть безопасны, мы поместили их в биосовместимый полимер и успешно испытали в эксперименте с живыми кроликами.

Возможность видеть свет от светодиода является разумным достижением. Но конечная цель в том, чтобы видеть через линзу нечто полезное. К счастью, человеческий глаз является очень чувствительным фотодетектором. В полдень безоблачного дня через ваш зрачок проходит масса света, и мир плещет красками. Но глазу не нужна вся эта оптическая мощь — он может воспринимать изображение всего от нескольких микроватт мощности оптического излучения, проходящего через линзу. Жидкокристаллический экран компьютера аналогично расточителен. Он посылает множество фотонов, но только небольшая их часть попадает в ваш глаз и доходит до сетчатки для формирования изображения. Но когда дисплей находится прямо над вашей роговицей, каждый порождённый им фотон помогает формировать картинку.

Изящность этого подхода очевидна: если свет идёт к зрачку от линзы, а не от внешнего источника, необходимо гораздо меньше энергии для формирования изображения. Но как получить свет от линзы? Мы рассмотрели два основных подхода. Один из вариантов заключается в создании на линзе дисплея на основе массива светодиодных пикселей; мы называем его активным дисплеем. Альтернативой является использование пассивных пикселей, которые просто модулируют входящий свет, а не производят его самостоятельно. Суть в том, что они формируют изображение, изменяя свои цвет и прозрачность в качестве реакции на источник света (это похоже на жидкокристаллические дисплеи, в которых крошечные ЖК-«жалюзи» блокируют или пропускают белый свет через красные, зелёные или синие фильтры). Для пассивных пикселей на функциональной контактной линзе источником света может быть среда. Цвета не будут такими сочными, как у дисплеев с белой подсветкой, но изображения могут быть весьма резкими и высокоточными. В первую очередь мы использовали «активный» подход и произвели линзы, на которых может поместиться массив светодиодов 8×8. На данный момент активные пиксели легче соединить с линзами. Однако с использованием пассивных пикселей значительно снизились бы общие потребности линз в энергии, при условии, что мы сможем понять, как сделать пиксели меньше, более высококонтрастными и способными быстро реагировать на внешние сигналы.

К этому моменту вам, наверное, стало интересно, как носящий одну из наших контактных линз человек сможет сосредоточиться на изображении, формируемом на поверхности глаза. В конце концов нормальные и здоровые глаза не могут фокусироваться на объектах, находящихся на расстоянии менее десяти сантиметров от поверхности роговицы. Сами по себе светодиоды производят нечёткое световое пятно в поле зрения пользователя. Так или иначе изображение должно быть уведено от роговицы. Одним из способов сделать это является использование массива из ещё более миниатюрных линз, размещённого на поверхности контактной линзы. В прошлом такие массивы использовались для фокусировки лазеров, а также в фотолитографии для размещения световых паттернов на фоторезисте. На контактной линзе каждый пиксель или небольшая группа пикселей назначались бы на микролинзы, расположенные между глазом и пикселями. Расстояния между пикселем и микролинзой в 360 микрометров было бы достаточно, чтобы «отодвинуть» виртуальный образ и позволить глазам легко на нём сосредоточиться. Пользователю изображение будет казаться висящим в пространстве на расстоянии примерно полуметра, в зависимости от микролинз.

Ещё одним способом создания чёткого изображения является использование сканирующего микролазера или массива микролазеров. Лазерные лучи рассеиваются значительно меньше, чем свет от светодиодов, так что они будут производить более чёткую картинку. Определённый тип подвижного зеркала будет разлагать лучи белого, красного и синего лазеров для формирования изображения. Его разрешение будет ограничено главным образом узостью лучей, и лазеры, очевидно, должны быть очень небольшими, что было бы существенной проблемой. Тем не менее использование лазеров позволило бы убедиться, что изображение постоянно находится в фокусе, и устранило необходимость в микролинзах.

Будем ли мы использовать для нашего дисплея лазеры или светодиоды, площадь для оптоэлектроники на поверхности линзы очень небольшая — около 1,2 мм в диаметре. Дисплей также должен быть полупрозрачным, чтобы его владельцы могли видеть окружающий мир. Это жёсткие, но не неудовлетворимые требования. Созданные нами до сих пор светодиодные чипы составляют 300 микрометров в диаметре, и светоизлучающая зона на каждом чипе находится в кольце шириной 60 микрометров с радиусом 112 микрометров. Мы пытаемся уменьшить её величину на порядок. Целью является массив из 3600 пикселей с шириной 10 микрометров на расстоянии 10 микрометров друг от друга.

Прототип линзы с верхнего изображения имеет несколько соединений, монокристаллические кремниевые и встроенные полупроводниковые компоненты. Нижняя линза содержит радиочип, антенну и красный светодиод.

Ещё одной трудностью в расположении дисплея на глазе стало его движение относительно зрачка. Обычные контактные линзы, корректирующие астигматизм, более тяжёлые в основании для поддерживания определённой ориентации плюс/минус несколько градусов. Я полагаю, что та же самая техника может уберечь от наклона дисплей (если владелец не моргает слишком часто!).

Как и любая другая мобильная электроника, эти линзы должны иметь подходящие источники энергии, однако среди всех вариантов ни один не является особенно привлекательным. Ситуацию обостряют пространственные ограничения. Например, уменьшенные до такого размера аккумуляторы требуют подзарядки и означают опасность попадания в глаз, скажем, ионов лития при неполадках. Лучшей стратегией является сбор инерциальной энергии из окружающей среды путём преобразования колебаний в электричество, его преобразования из солнечного или радиоизлучения. Большая часть приборов для сбора инерциальной энергии имеет неприемлемо низкую выходную мощность, поэтому мы сосредоточились на питании наших линз от энергии солнца или радиоколебаний.

Давайте предположим, что 1 квадратный сантиметр линзы задействован в генерировании электричества, и, скажем, мы употребили это место под солнечные батареи. Почти 300 микроватт входящей энергии будет доступно в помещении с потенциально гораздо большим количеством на открытом воздухе. При эффективности преобразования в 10% эти цифры превратились бы в 30 микроватт доступной электрической мощности, если бы все подсистемы контактной линзы работали в помещении.

Сбор радиочастотной энергии из источника в кармане пользователя улучшает показатели незначительно. В таких условиях площадь линзы занята антеннами, а не фотоэлементами. «Выхлоп» антенн будет ограничен напряжённостью поля, разрешённой на различных частотах. В микроволновом диапазоне от 1,5 гигагерца до 100 гигагерц считающийся безопасным для человека уровень воздействия составляет 1 милливатт на квадратный сантиметр. Для наших прототипов мы изготовили первое поколение антенн, которые могут осуществлять передачу в диапазоне от 900 мегагерц до 6 гигагерц, и продолжаем работать над более эффективными версиями. Таким образом с одного квадратного сантиметра линзы мы должны извлечь по крайней мере 100 микроватт, в зависимости от эффективности антенны и конверсионной схемы.

После завершения работы над подсистемами финальным испытанием является их размещение на всё том же крошечном полимерном диске. Напомню, что нам нужно для этого: металлические микроструктуры для формирования антенн, сложные полупроводники для создания оптоэлектронных приборов, дополнительные передовые металлооксидные полупроводниковые кремниевые схемы для управления и радиочастотной связи при низком энергопотреблении, микроэлектромеханическая система (MEMS) преобразователей и резонаторов для настройки радиочастотной коммуникации и поверхностные датчики, взаимодействующие с биохимической средой.

Используемые нами обычно для создания большинства из этих компонентов производственные процессы для полупроводников не будут работать, поскольку они химически и температурно несовместимы с гибким полимерным основанием контактной линзы. Чтобы обойти эту проблему, мы независимо изготавливаем большую часть микрокомпонентов на подложке из кремния на изоляторе, также производя светодиоды и некоторые биосенсоры на другом субстрате. Каждый продукт имеет металлические соединения и травится в уникальной форме. На выходе они представляют собой части размером с крупицы пыли, которые мы затем интегрируем в линзу.

Начинаем с подготовки субстрата для микрокомпонентов — 100-нанометрового куска полиэтилентерефталата. Подложка фотолитографическим способом поделена линиями металлических соединений со связывающими участками. Эти участки — крошечные скважины около 100 микрометров глубиной, в которых будут проведены электрические соединения между компонентами и шаблоном. В нижней части каждой располагается крошечная ёмкость с низкотемпературным сплавом, который объединяет два соединения микронной спайкой.

Затем мы погружаем пластиковую подложку линзы в жидкий агент и собираем над ней микрокомпоненты. Участки связывания режутся под геометрию отдельных комплектующих таким образом, чтобы треугольный компонент получил треугольную пазу, круглый — круглую, и так далее. Когда компонент попадает в свою скважину, небольшой слой металла на его поверхности вступает в контакт со сплавом на дне скважины, в результате чего капиллярная сила укладывает компоненты в нужное место. После того как все части нашли свое слоты, мы понижаем температуру для закрепления сплава. На этом шаге устанавливается механическая и электрическая связь между компонентами, соединениями и подложкой.

Следующим шагом является обеспечение того, чтобы все потенциально опасные части, которые мы только что собрали, были безопасны и удобны при ношении. Разрабатываемые нами линзы напоминают существующие газопроницаемые с небольшими участками «дышащего» чуть хуже материала, который оборачивается вокруг электроники. Мы инкапсулировали функциональные части в полиметилметакрилат (оргстекло — прим. ред.) — полимер, использовавшийся при создании контактных линз ранних поколений. Теперь появился вопрос о взаимодействии тепла и света с глазом. Необходимо не только сделать энергопотребление системы очень низким для соблюдения энергобаланса, но и избежать выделения такого количества тепла, которое может повредить глаз, так что температура должна оставаться ниже 45° С. Нам ещё предстоит всесторонне исследовать эту проблему, но наш предварительный анализ показывает, что тепло не должно быть большой проблемой.

Все основные технологии, необходимые для создания функциональных контактных линз, уже есть. Мы протестировали несколько собственных первых прототипов на животных, доказав, что платформа может быть безопасна. Сейчас нам нужно продемонстрировать взаимодействие всех подсистем, дополнительно уменьшить некоторые компоненты и расширить возможности радиочастотного забора энергии с упором на эффективность и увеличение дистанции с нынешних нескольких сантиметров. Мы также нуждаемся в создании устройства-компаньона, которое проводило бы все необходимые вычисления и обрабатывало изображения, чтобы доказать, что система может формировать картинку по требованию. Мы начинаем с простого продукта — контактной линзы с одним источником света и намерены разработать более сложные линзы, которые могут наложить генерируемую компьютером цветную графику высокого разрешения на реальное видимое пользователем пространство.

Истинными плодами этого исследования является не просто реальная система, над которой мы в конечном итоге работаем, будь то дисплей, биосенсор или и то, и другое. Мы уже видим будущее, в котором скромная контактная линза становится платформой, вроде iPhone сегодня, с большим количеством разработчиков, делящихся идеями и изобретениями. Нам известно, что возможности растут насколько хватает глаз и за этими пределами.

Автор хотел бы поблагодарить своих бывших и нынешних учеников и сотрудников, в особенности Брайена Отиса (Brian Otis), Дисней Тана (Desney Tan) и Тенг Шена (Tueng Shen), за их вклад в это исследование.

Перевод статьи Бабака Парвиза «Augmented Reality in a Contact Lens» для IEEE Spectrum

Контактные линзы дополненной реальности

Очки дополненной реальности продолжают оставаться востребованным аксессуаром, но ученые решили пойти еще дальше. Специалисты из Австралии представили миру контактные линзы, которые могут выполнять функции миниатюрного компьютерного монитора, а также датчика, отслеживающего состояние здоровья владельца.

Как это получилось?

Ученые Университета Южной Австралии уже несколько лет специализируются на разработке тонких пленок, неудивительно, что именно им удалось добиться существенного прорыва в отрасли. Появлению линз AR предшествовал труд по созданию специального пленочного автомобильного покрытия, а также “умных окон”, самостоятельно контролирующих объем света, проникающий в комнату.

Полученная пленка была модифицирована, покрыта особым гелем на водной основе, благодаря которому стала биологически совместимой и способной проводить электрический ток. Таким образом, поверхность оказалась пригодной для создания цепей питания микроскопических экранов, отображающих те или иные объекты расширенной реальности.

Выполняемые функции

В ближайшем будущем линзы расширенной реальности станут максимально полезным аксессуаром, будучи способными выполнять следующие задачи:

• Отслеживание состояния здоровья владельца. Это особенно важно для людей, страдающих от сахарного диабета. Текущие методы определения уровня сахара в крови несовершенны и неудобны, линзы же ориентируются на глазные жидкости, крайне чувствительные не только к колебаниям уровня сахара, но и к показателям по холестерину, калию и натрию.
• Экономия энергии, полная замена очков. Современные очки смешанной реальности – аксессуар достаточно громоздкий, экраны потребляют немало энергии, а потому нуждаются в частой подзарядке. Линзы избавлены от этого недостатка, что объясняется миниатюрной конструкцией дисплеев, отсутствием необходимости в подсветке.
• Помощь людям, имеющим плохое зрение. Линзы, как и прежде, продолжат выполнять свою главную функцию – корректировку недостатков зрения носителя. Аксессуар, при этом, сможет акцентировать внимание на важных деталях, к примеру, дорожных знаках, вывесках, транспорте, что существенно увеличит пользу и удобство.

Интересно, что линзы для Augmented Reality почти не выделяют тепла, выполнены из безопасных материалов, благодаря чему их ношение комфортно и не представляет угрозы здоровью. Они не раздражают глаз даже при длительном ношении.