Plain Concepts y Boston Dynamics | Primeros pasos con Spot

Desde Plain Concepts llevamos años trabajando con empresas del sector industrial para ayudarles a solucionar problemas de producción, control de calidad y procesos de digitalización utilizando las últimas tecnologías disponibles en el mercado.

El uso de Mixed Reality (MR), Internet of Things (IoT) e inteligencia artificial (AI) aplicado a los procesos de fabricación, construcción y mantenimiento ofrecen la digitalización de estos procesos de un modo imposible hasta la fecha. Un ejemplo de ello es la digitalización de procesos de construcción, donde se están utilizando técnicas como la fotogrametría o el escaneo de instalaciones a través de dispositivos como cámaras o lidars montados en robots, como pueden ser plataformas móviles o drones. Esto facilita generar el llamado Digital Twin de un proceso de construcción que permite a los responsables detectar anomalías, reportar los avances o tomar decisiones precisas sin necesidad de visitar las instalaciones.

En Plain Concepts siempre nos hemos centrado en el desarrollo de software, es donde más valor hemos aportado, pero en escenarios de IoT es muy importante conocer el hardware en profundidad para ser capaz de desarrollar el mejor software posible, por ello decidimos trabajar en una plataforma móvil que nos sirviese como banco de pruebas para mostrar a nuestros clientes las posibilidades de las placas hardware más avanzadas del mercado, que nos permitían la inferencia de modelos AI de gran complejidad on the Edge (ejecución de modelos AI directamente en dispositivos locales, evitando la necesidad de ser ejecutado en un potente servidor en la nube).

Esta plataforma AI móvil fue creada en 2019 sobre un pequeño coche de juguete eléctrico, el cual llevamos a diferentes eventos internacionales para demostrar que la computación AI en Edge ya era posible para la mayoría de los procesos necesarios en factorías. Este pequeño robot contaba con una gran cantidad de sensores y placas para la inferencia de modelos locales:

• 3 backfly 1.3 MP color GigE PoE
• ZED Stereo Camara
• Ouster Lidar
• Azure Kinect
• Nvidia Xavier
• Jetson nano
• Google Coral
• Raspberry Pi

Tenía múltiples demos y podía ser controlado mediante una Tablet o directamente desde las HoloLens, dispositivo de realidad mixta que se podía utilizar para guiarlo por el espacio manteniendo las manos del operario liberadas para realizar otro tipo de tareas.

Dicho vehículo contaba con planificación de rutas evitando obstáculos, desarrollada en ROS y utilizando la información capturada por un sensor lidar en tiempo real:

Este dispositivo fue muy útil para demostrar los últimos avances en IoT y la importancia de tener un software optimizado para el hardware utilizado, así como para llegar a alcanzar un conocimiento más profundo desde el punto de vista del hardware disponible en el mercado.

Plain Concepts & Boston Dynamics | Partnership

Desde Plain Concepts tenemos el compromiso de aportar las mejores soluciones de software utilizando el mejor hardware del mercado, por ello hoy anunciamos que recientemente hemos cerrado un acuerdo de Partnership con Boston Dynamics, la empresa líder mundial en robótica avanzada. Boston Dynamics lleva más de 10 años trabajando en productificar y homologar robots para el sector industrial y nuestra misión será añadir el mejor software posible a dicho hardware.

Hemos empezado a trabajar con el robot de Boston Dynamics, el cual presenta unas características increíbles para su utilización en diferentes tipos de industrias, a destacar podemos enumerar:

• Puede andar sobre cualquier tipo de superficie.
• Puede subir escaleras o rampas.
• Puede moverse por espacios pequeños evitando obstáculos.
• Es capaz de cargar con hasta 14kg de peso.
• Tiene cámaras perimetrales que le ofrecen una visión de 360 grados.

Es decir, su hardware ya resuelve como ningún otro robot el poder moverse por cualquier instalación. Y este es un gran punto de partida, ya que sobre esta base nuestra misión será añadir sensores, dispositivos AI on Edge con la versatilidad suficiente para adaptarnos a las necesidades de nuestros clientes en diferentes industrias, y una conectividad Wireless que permita utilización en instalaciones remotas.

Tras mostrarlo a varios clientes hemos detectado varios usos inmediatos en diferentes sectores, siendo uno de los más claros la digitalización de los procesos de construcción. Este robot es terrestre pero puede llegar a cualquier rincón de unas instalaciones, por lo que dotándolo de sensores lidar y cámaras 360 puede ser utilizado para el escaneo periódico y automático de unas instalaciones utilizando un sistema de guiado autónomo. Esto nos permitirá crear un Digital Twin exactamente igual en diferentes periodos temporales lo que ayudará a:

• Detección temprana de errores en procesos de construcción.
• Verificación de progreso automático tras comparación con modelos BIM.
• Creación de instrucciones geolocalizadas.
• Mediciones espaciales remotas.
• Histórico visual de progreso.

Primeros pasos con Spot de Boston Dynamics

En unas pruebas iniciales montamos un Azure Percept alimentado por un powerbank y con conectividad 4G y 5G a través de un mifi sobre el robot Spot, que utilizamos como banco de pruebas para explorar gran cantidad de modelos basados en Vision y Audio.

Algoritmos de visión

• Detección de personas.
• Identificación de maquinaria de construcción.
• Detección de extintores para revisiones automáticas.
• Lectura de QR y códigos de barras.
• Búsqueda de desperfectos.

Algoritmos de Audio

• Detección de anomalías en maquinarias basadas en audio.
• Reconocimiento del habla para recibir ordenes.

Holo-Robot

Tras estas pruebas y el feedback de nuestros clientes, hemos arrancado con el desarrollo de una solución de software llamada Holo-Robot.

El proyecto Holo-Robot ahondará en la investigación y el desarrollo de una herramienta que permita controlar el robot cuadrúpedo Spot mediante una interfaz basada en realidad mixta utilizando el dispositivo HoloLens 2 de Microsoft.

Para conseguir tal propósito, el sistema estará dotado de un sistema de navegación que permita al operario desplazar al robot sin necesidad de preocuparse por los obstáculos que pueda encontrarse en su camino. Además, a ese sistema de navegación se le incorporará una capa de más alto nivel para poder gestionar los movimientos en un mapa virtual (gestión de misiones).

El operario realizará el control del sistema mediante una experiencia inmersiva implementada mediante tecnología de realidad mixta utilizando HoloLens 2, que permitirá operar tanto en una vista en primera persona como en tercera persona.

El sistema incluirá capacidades de visión computacional que permitan al robot detectar personas, leer cifras de contadores o determinar el estado de un interruptor y todo esto lo desarrollará en un módulo de percepción. Finalmente, con el objetivo de dotar al sistema de mayores capacidades, se le incorporarán una serie de componentes incrustados como: una cámara 360º que proporciona una visión panorámica, un sensor LIDAR que proporcione precisión, una computador Jetson con una tarjeta gráfica NVIDIA para el procesamiento de imágenes, el componente acelerador Google Coral para acelerar el procesamiento de visión computacional del módulo de percepción, un procesador global SpotCore para realizar el procesamiento central y un sistema de alimentación Spot GXP que provea de puertos de potencia para alimentar el resto de los sistemas y todo ello conectado por un sistema de comunicaciones que proporcione robustez y seguridad al sistema.

La necesidad que cubre el nuevo producto es clara, aportar una nueva herramienta que permita aumentar la seguridad en las grandes industrias, automatizando las revisiones e inspecciones de las zonas peligrosas en sus plantas.

Conclusiones

La tecnología avanza con rapidez, por ello es importante conocer los últimos avances en áreas tan punteras como la robótica, realidad mixta, Internet of Things e Inteligencia Artificial.

Desde Plain Concepts tenemos el compromiso eterno de acercar los últimos avances tecnológicos a nuestros clientes, así como asesorarlos sobre aquellos que tienen un mayor futuro con el objetivo de ayudarles a aumentar su competitividad. Convertirnos en partners de Boston Dynamics nos ayudará a acercar al sector industrial el mejor hardware con el mejor software.