Aspectos básicos del uso de eye tracking en Hololens 2

La mirada o “gaze” es un recurso muy potente que conviene conocer a la hora de diseñar una experiencia para realidad mixta si queremos que al usuario le resulte agradable y convincente el diseño que proponemos.

Aunque no lo parezca, diseñar una interfaz de usuario intuitiva y fácil de utilizar puede llegar a ser complicado, sobre todo porque como diseñadores, a veces nos es complicado poder acceder a este tipo de dispositivos para probar en nuestra propia piel la experiencia, por eso, en este artículo os contaremos algunos trucos y elementos clave a tener en cuenta a la hora de diseñar interacciones de usuario basadas en la mirada.

Algunas pinceladas sobre las Hololens 2

En Plain Concepts, como primer partner de Microsoft en España en el ámbito de la realidad mixta, estamos especializados en desarrollar soluciones a medida para aquellas compañías que deciden dar un paso más en cuanto a tecnología.

Diseñamos aplicaciones para Hololens 2, que son las gafas de realidad mixta de Microsoft. Estas gafas, salieron al mercado en 2019 y están dotadas de tecnología eye tracking (seguimiento ocular) y hand tracking, es decir, son capaces de detectar las manos sin necesidad de utilizar ningún dispositivo adicional, esto aporta libertad al usuario al no tener que sujetar ningún mando para interactuar.

Las gafas Hololens funcionan de manera independiente porque poseen su propio procesador y la batería tiene una autonomía aproximada de dos a tres horas. Están diseñadas de manera ergonómica y para aquellas personas que usen gafas no es necesario que se las quiten para utilizarlas.

La realidad mixta en Hololens 2 se muestra a través de una ventanita rectangular que funciona con el casco. Esa pantalla rectangular que ve el usuario se demonina trama holográfica y le permite ver el contenido digital superpuesto en la estancia en al que se encuentre en ese momento.

Gracias a la incorporación de eye tracking, las Hololens 2 pueden ser utilizadas por diferentes perfiles de usuario.

Disponen de un sistema de calibrado que hace que la experiencia sea más confortable ya que de esta manera tanto el alineamiento de los hologramas como el hand tracking o interacción con las manos están personalizados a las características físicas del usuario. Es necesario realizar dicha calibración por ejemplo si es la primera vez que se utilizan las gafas o si se eliminan los perfiles de calibración del dispositivo.

Como ocurre con los comandos de voz, siempre que se activen funcionalidades de eye tracking el usuario tiene que aceptar los permisos de utilización.

Head tracking y Eye tracking

Las gafas tienen dos maneras clave para detectar la intención y el enfoque del usuario y son el head tracking (presente en Hololens versión 1 y 2) y el eye tracking (sólo disponible en Hololens 2). Ambas tecnologías ayudan a entender el FOV, es decir, el field of view del usuario.

Head tracking

Hololens utiliza el head tracking para orientarse en el entorno del usuario, detectar la posición de la cabeza y determinar la posición de los hologramas en el mundo real. Los hologramas se posicionan al comenzar la aplicación en el origen, conocido como 0,0,0.

Para que el head tracking sea evidente se suele recurrir al uso de una pista visual o cursor que debe ser más pequeño que los objetos para que no interfiera en la acción.

No se debe confiar en head tracking para obtener información acerca de dónde está mirando el usuario porque puede que esté mirando a otro lugar.

El uso de seguimiento de la dirección de la cabeza durante un período prolongado, puede causar fatiga y molestia para personas con dolencia de cervicales. Además, es un tipo de interacción lenta para el usuario, pero puede resultar muy útil cuando se requiere de cierta precisión en la interacción.

Tipos de head tracking

Head gaze and commit. El usuario dirige su cabeza hacia un objeto en concreto y complementa la acción con un comando de voz o un gesto.

Head gaze and dwell. Esta interacción está indicada para aquellos casos en los que el usuario no puede utilizar la voz o los gestos. Se añade un cursor con cierta relevancia visual y cuando el usuario mantiene la cabeza dirigida durante un periodo de tiempo hacia el objeto se activaba la selección.

Eye tracking

Eye tracking, o seguimiento ocular es una tecnología que permite entender cuál es el área en la que se está enfocando el usuario y cuál es su intención. Se realiza mediante un rastreo del recorrido visual y tiene varios usos de interacción en Hololens 2. El dispositivo dispone de cámaras de seguimiento ocular y al iniciar sesión realiza un análisis del iris para realizar la autenticación del usuario.

Podríamos decir que en Hololens 2 la mirada funciona como input o dispositivo de entrada, como podría serlo el ratón de un ordenador.

Para que la interacción sea lo más precisa y amable para el usuario, el objeto no debe estar a más de 2 metros de distancia y su tamaño debería oscilar entre 5 y 10 cm.

Recomendación de Microsoft para el tamaño del objetivo a una distancia de 2 metros

Cuando se utiliza eye tracking, se recurre al uso de attentive holograms, que son efectos sutiles que destacan el objeto o pequeñas animaciones que indican qué holograma se está seleccionado e informan de que el sistema interpretó correctamente lo que el usuario está mirando, no se recurre al uso de un cursor porque puede distraer al usuario cuando se utiliza la mirada, es mejor utilizar highlights sutiles o pequeñas animaciones para indicar que se está seleccionando el holograma.

Tipos de Eye Gaze

Eye gaze and commit

Como ocurre con el head tracking and commit, eye gaze and commit significa que el usuario dirige la mirada a un objeto, la mantiene durante un tiempo determinado y confirma la acción con un comando de voz o gesto.

Eye gaze and dwell

Se utiliza para seleccionar objetos sin utilizar gestos o voz, se mantiene la mirada durante un tiempo determinado, el objeto realiza muestras de que se está dirigiendo la mirada hacia él mediante sutiles animaciones o cambios de color y después de ese periodo de tiempo se realiza la activación. De igual manera se produciría la desactivación, se mira al objeto, se mantiene la mirada y se deselecciona.

Recomendaciones de Microsoft para diseñar estados dwell

Ventajas del eye tracking

• Es muy fácil de usar. La mirada siempre la utilizamos al interactuar con cualquier sistema. Además, el ojo es un músculo muy rápido con lo que aporta gran velocidad de interacción.
• En ocasiones, la interacción con dispositivos de realidad virtual produce fatiga en los brazos, el uso de interacción mediante eye tracking ayuda a prevenir la molestia que produce lidiar con la gravedad.
• La interacción puede ser más rápida con la mirada que con las manos.
• Es higiénico, y más en los tiempos en los que nos encontramos, permite interactuar sin necesidad de tocar nada.
• Garantiza que contamos con la atención del usuario, algo también muy interesante desde el punto de vista de UX porque nos indica a qué esta prestando atención el usuario. Se podría ir incluso un paso más, y detectar el estado de ánimo, los sentimientos…
• Permite tener las manos libres. Hay ocasiones en las que no se pueden utilizar las manos para interactuar en el sistema.
• Eye tracking suele producir efecto “wow” en los usuarios, a muchos les da la sensación de que el sistema hace magia o está leyendo su pensamiento.

Inconvenientes del eye tracking

• No todo el mundo es capaz de controlar el movimiento de sus ojos, en ocasiones se producen movimientos involuntarios. La interfaz debería separar los movimientos oculares involuntarios de los gestos intencionales de mirada.
• Hay un efecto que en realidad virtual se denomina “Midas touch”, a veces es complicado que el sistema pueda decidir si el usuario simplemente está inspeccionando la escena o si realmente quiere realizar una acción.
• Cuando se trata de interactuar con objetos pequeños y por lo tanto es necesaria mucha precisión en la selección, no es una técnica indicada.

¿Qué situaciones son las más adecuadas para utilizar eye tracking en Hololens2?

• Para seleccionar hologramas.
• Para desplazarse por una escena y posicionarse.
• Para navegaciones generales.
• Para lecturas, para el usuario es muy agradable ver cómo cuando llega al final de un párrafo el sistema hace scroll de manera suave y controlada para que pueda continuar leyendo.
• Para realizar panning and zooming en mapas, al igual que el punto anterior, es una interacción sorprende y agradable para el usuario y por lo tanto con muchas posibilidades.
• Para seleccionar objetos de dimensiones grandes.
• Para crear mapas de calor, de esta forma se obtiene mucha información de qué es lo que activa la atención del usuario.
• Para resaltar elementos, dando un feedback de interacción.

Heat map that shows the amount of time the user has been looking at the object and that it changes color as time progresses.

¿Con qué aspectos hay que tener especial cuidado al utilizar eye tracking?

• La mirada es un elemento que siempre está activo. Hay que prestar especial atención a la hora de diseñar la experiencia porque puede ser muy frustrante para el usuario que si mira durante más tiempo del debido a un objeto se desencadene una acción.
  La retroalimentación debe ser sutil, por eso el uso de “attentive holograms”.
  En general, en las experiencias de AR/VR/MR es necesario ser sutil y comedido con los efectos que ofrecemos al usuario.
• Si el tamaño del objetivo es demasiado pequeño. Como comentábamos anteriormente, eye tracking no está recomendado para selecciones que requieran minuciosidad porque corremos el peligro de fatigar al usuario de igual forma que nos ocurre cuando intentamos leer un texto pero el cuerpo de la tipografía es demasiado pequeño.
• Cambios de luz. Hay que tener en cuenta que a veces los cambios de iluminación pueden hacer que hasta que la vista del usuario se adapta se puede perder precisión de interacción. En algunas ocasiones el usuario debe volver a calibrar el dispositivo.
• Si necesitamos que el usuario realice tareas que requieran movimientos suaves, como por ejemplo dibujar o anotar, eye gaze no está recomendado, es más sencillo utilizar un gesto de la mano o un movimiento de cabeza.

Eye gaze targeting vs Head gaze

Para concluir…

Eye tracking es una UI muy potente, al usuario le da la sensación de que el sistema le lee la mente, es una interacción que si está bien diseñada, aporta a la experiencia una sensación mágica.

Su uso ayuda a que el usuario no termine con fatiga en los brazos, porque lo que recordamos de los gestos de Tom Cruise en la película de Minority report agotaría al usuario y es algo que ocurre frecuentemente al utilizar dispositivos de realidad mixta.

Y para interacciones que requieran precisión, mejor no recurrir a ello porque los ojos suelen realizar muchos movimientos y muy rápidos.