Interaccion natural y completamente multimodal con el vehiculo y su en
Publicado: Jue Feb 28, 2019 12:03 pm
La compañía presentará el Mobile World Congress, que se celebra en Barcelona entre el 25 y 28 de febrero, el BMW Natural Interaction. Este sistema combina la tecnología más avanzada de comandos de voz, con un control gestual aumentado y reconocimiento de mirada; para permitir, por primera vez, una auténtica interacción multimodal. Las primeras funciones del Sistema de Interacción Natural de BMW estarán disponibles en el próximo BMW iNext, a partir de 2021.
Una vez más, el Grupo BMW revoluciona el modo en el que los conductores interactúan con sus vehículos. La compañía presentará el Mobile World Congress, que se celebra en Barcelona entre el 25 y 28 de febrero, el BMW Natural Interaction, un nuevo sistema de interacción natural. Este sistema combina la tecnología más avanzada de comandos de voz, con un control gestual aumentado y reconocimiento de mirada; para permitir, por primera vez, una auténtica interacción multimodal. Las primeras funciones del Sistema de Interacción Natural de BMW estarán disponibles en el próximo BMW iNext, a partir de 2021.
Como en una conversación interpersonal, el Sistema de Interacción Natural de BMW permite al conductor usar su voz, gestos y miradas al mismo tiempo, y en varias combinaciones, para interactuar con su vehículo. El modo preferido de operación puede seleccionarse intuitivamente, en relación a la situación y al contexto. Los comandos de voz, los gestos y la dirección de la mirada pueden ser detectados y combinados de forma fiable por el vehículo, que ejecutará la acción deseada. Esta interacción libre y multimodal es posible gracias al reconocimiento de voz, la tecnología de sensores optimizada y el análisis de gestos que tiene en cuenta el contexto. Mediante la detección precisa del movimiento de las manos y los dedos, la dirección del gesto -además del tipo de gesto- también se registra por primera vez en un espacio de interacción ampliado que abarca todo el entorno operativo del conductor. Las instrucciones habladas se registran y procesan usando comprensión del lenguaje natural. Un algoritmo de aprendizaje inteligente, que se está refinando constantemente, combina e interpreta la información compleja para que el vehículo pueda responder en consonancia. Esto crea una experiencia interactiva multimodal orientada a los deseos del conductor.
Las funciones del vehículo pueden iniciarse de diferentes maneras mediante la combinación de diferentes modalidades. El conductor decide cómo quiere interactuar, basándose en sus preferencias personales, hábitos o situación actual. De esta forma, cuando el conductor está conversando, es probable que elija el control gestual y de mirada; mientras que cuando sus ojos están en la carretera, es mejor confiar en el habla y los gestos. Si el conductor quiere aprender más sobre las funcionalidades del vehículo, también puede señalar a los botones y preguntar qué función realiza cada uno.
Con un mejor reconocimiento gestual y el alto nivel de conectividad del coche, el espacio de interacción ya no se limita al interior. Por primera vez, los ocupantes podrán interactuar con su entorno directo, como edificios o plazas de aparcamiento. Incluso las consultas complejas pueden ser respondidas rápida y fácilmente señalando con el dedo y emitiendo un comando de voz. "¿Qué hay en este edificio? ¿Cuánto tiempo está abierto ese negocio? ¿Cómo se llama este restaurante? ¿Puedo estacionar aquí? ¿Y cuánto cuesta?"
"Los clientes deberían poder comunicarse de una forma totalmente natural con su vehículo inteligente y conectado ", explica Christoph Grote, Vicepresidente Senior de BMW Group Electronics. "La gente no debería tener que pensar qué estrategia operativa ha de emplear para conseguir lo que quiere. Deberían poder decidir libremente, y el coche debería seguir entendiéndolos. El Sistema de Interacción Natural de BMW es también un paso importante para el futuro de los vehículos autónomos, cuando los conceptos de diseño interior ya no se orienten únicamente al puesto del conductor y los ocupantes tengan más libertad".
Sistema de Interacción Natural de BMW: el siguiente paso para una operación natural
BMW siempre ha desempeñado un papel pionero en el desarrollo de sistemas que promueven el funcionamiento intuitivo. En 2001, el Grupo BMW se convirtió en el primer fabricante de automóviles del mundo en introducir una nueva lógica de control para vehículos, con el iDrive Controller. La combinación de un controlador montado en la consola central con una pantalla de control multifuncional sustituyó a una gran variedad de interruptores, botones e indicadores, y sigue siendo considerada una innovación novedosa en la industria del automóvil. Desde 2015, gracias al uso de una cámara 3D, el control gestual de BMW ha permitido un manejo sencillo y sin contacto de diversas funciones del vehículo. Con el lanzamiento del Sistema Operativo BMW 7.0 en 2018, el funcionamiento personalizado y personalizable alcanzó un nuevo nivel, gracias a las pantallas totalmente digitales, el reconocimiento de voz optimizado y un mejor control gestual. Dependiendo de sus preferencias personales y situación, el conductor puede elegir entre el controlador iDrive, los botones del volante, la pantalla táctil o el control por voz y por gestos. La importancia del control por voz, como forma más natural de interacción, es subrayada por el Asistente Personal Inteligente de BMW. Este asistente digital ayuda al conductor en diversas situaciones, y aprende sus rutinas y hábitos con cada comando de voz. Esto facilita cada vez más el manejo del vehículo, y también el acceso a las funciones y a la información a través de la voz.
El siguiente paso lógico de este desarrollo es el Sistema de Interacción Natural de BMW, que también ofrece, por primera vez, la posibilidad de utilizar gestos para aportar información direccional y local a la interacción señalando con el dedo.
Tecnología de sensores mejorada y evaluación precisa mediante la inteligencia artificial
Los avances en el reconocimiento y la evaluación de los comandos de voz, los gestos y la mirada, necesarios para la interacción natural entre el conductor y el vehículo, se logran mediante tecnologías mejoradas de sensores y análisis. Utilizando una señal de luz infrarroja, la cámara de gestos ahora puede capturar los movimientos de las manos y los dedos en tres dimensiones en todo el entorno operativo del conductor, y determinar un vector direccional preciso. Por ejemplo, es suficiente apuntar con el dedo índice al display de control y decir un comando para iniciar la operación deseada, sin necesidad de tocar la pantalla. La cámara de alta definición integrada en el panel de instrumentos también registra la dirección de la cabeza y de los ojos. La tecnología integrada en la cámara evalúa las imágenes y las utiliza para calcular los datos vectoriales necesarios, que luego se procesan en el vehículo. Para interpretar las instrucciones de voz de forma rápida y fiable, además de los gestos; la información transmitida por el conductor al vehículo de forma multimodal se combina y evalúa con ayuda de la inteligencia artificial. El algoritmo responsable de la interpretación de los datos en el automóvil se optimiza y refina continuamente mediante el aprendizaje automático y la evaluación de diferentes escenarios de funcionamiento.
Más allá del automóvil: interacción con el entorno a través de la conectividad
Gracias a las redes inteligentes, el Sistema de Interacción Natural de BMW extiende su área de actuación más allá del interior del vehículo. Por ejemplo, el conductor puede señalar con el dedo objetos en su campo de visión y dar comandos de voz relacionados, como pedir información sobre horarios de apertura o valoraciones de clientes, o reservar una mesa en un restaurante. Gracias a la profunda conectividad del vehículo, la enorme cantidad de datos del entorno y la inteligencia artificial, el Sistema de Interacción Natural de BMW transforma el vehículo en un pasajero útil y muy bien informado. Y conectando servicios digitales, será posible ampliar el alcance de la interacción en el futuro. Por ejemplo, cuando el conductor localice una plaza de aparcamiento, podrá averiguar fácilmente si se le permite aparcar allí y cuánto cuesta, y reservarla y pagarla directamente sin tener que pulsar nunca un botón.
Los beneficios para el cliente de la experiencia de realidad aumentada, en vivo
En una sofisticada instalación de realidad aumentada, BMW sumergirá a los visitantes del Mobile World Congress 2019 en diversos escenarios de aplicaciones, en los que podrán experimentar en primera persona los beneficios para el cliente del Sistema de Interacción Natural de BMW. Con las gafas de realidad virtual y un concepto espacial minuciosamente diseñado, se crea una experiencia totalmente realista, que muestra las posibilidades de este sistema durante un recorrido virtual en el BMW Vision iNEXT. Los visitantes descubrirán la libertad, desconocida hasta ahora, que permite el control gestual en toda el área detectada por la cámara de gestos, que se extiende por todo el ancho de la parte delantera del habitáculo.
Inicialmente, en el modo de aprendizaje, la detección de la dirección del gesto de apuntar se visualiza mediante un impulso de luz dinámico que sigue esa dirección. Los objetos con los que el conductor puede interactuar resaltan cuando los apunta. La combinación del gesto y el lenguaje hace que esta interacción sea muy natural. Por ejemplo, si el conductor señala una ventana lateral, ésta se resalta visualmente con un marco, y el comando de voz "Abrir" abrirá la ventana elegida. Estas posibilidades de interacción con el entorno, totalmente nuevas, se revelarán durante un viaje en conducción autónoma a través de una ciudad futurista con la que el conductor no está familiarizado. El vehículo se hace cargo de la conducción y el visitante se embarca en un recorrido turístico muy diferente, en el que simplemente apuntando a los edificios, obtiene toda la información que necesita sobre eventos y exposiciones. Al final del viaje, el usuario reserva las entradas para un cine por el que pasa a lo largo de su recorrido y visualiza el tráiler de la película directamente en el vehículo.
Funciones iniciales en el BMW iNEXT y outlook
El Sistema de Interacción Natural de BMW allana el camino para las siguientes fases de interacción natural con los vehículos. La libre combinación de instrucciones de voz, gestos y mirada crea una interacción multimodal, basada en la comunicación interpersonal. Las primeras funciones del Sistema de Interacción Natural de BMW estarán disponibles en el BMW iNEXT a partir de 2021.
El desarrollo de la interacción conductor-vehículo seguirá avanzando paralelamente. En el futuro, con la ayuda de la inteligencia artificial, este sistema seguirá progresando y la tecnología de sensores mejorada podrá tener en cuenta las emociones de los ocupantes e integrarlas en el Sistema de Interacción de forma significativa. De este modo, la interacción entre el conductor y el vehículo será aún más personalizada y adaptada a cualquier situación. Basándose en la experiencia, y en función de la situación y el estado de ánimo, el asistente inteligente podrá decidir si espera instrucciones o si hace sugerencias proactivas para la interacción.
Fuente: BMW Pressclub
Una vez más, el Grupo BMW revoluciona el modo en el que los conductores interactúan con sus vehículos. La compañía presentará el Mobile World Congress, que se celebra en Barcelona entre el 25 y 28 de febrero, el BMW Natural Interaction, un nuevo sistema de interacción natural. Este sistema combina la tecnología más avanzada de comandos de voz, con un control gestual aumentado y reconocimiento de mirada; para permitir, por primera vez, una auténtica interacción multimodal. Las primeras funciones del Sistema de Interacción Natural de BMW estarán disponibles en el próximo BMW iNext, a partir de 2021.
Como en una conversación interpersonal, el Sistema de Interacción Natural de BMW permite al conductor usar su voz, gestos y miradas al mismo tiempo, y en varias combinaciones, para interactuar con su vehículo. El modo preferido de operación puede seleccionarse intuitivamente, en relación a la situación y al contexto. Los comandos de voz, los gestos y la dirección de la mirada pueden ser detectados y combinados de forma fiable por el vehículo, que ejecutará la acción deseada. Esta interacción libre y multimodal es posible gracias al reconocimiento de voz, la tecnología de sensores optimizada y el análisis de gestos que tiene en cuenta el contexto. Mediante la detección precisa del movimiento de las manos y los dedos, la dirección del gesto -además del tipo de gesto- también se registra por primera vez en un espacio de interacción ampliado que abarca todo el entorno operativo del conductor. Las instrucciones habladas se registran y procesan usando comprensión del lenguaje natural. Un algoritmo de aprendizaje inteligente, que se está refinando constantemente, combina e interpreta la información compleja para que el vehículo pueda responder en consonancia. Esto crea una experiencia interactiva multimodal orientada a los deseos del conductor.
Las funciones del vehículo pueden iniciarse de diferentes maneras mediante la combinación de diferentes modalidades. El conductor decide cómo quiere interactuar, basándose en sus preferencias personales, hábitos o situación actual. De esta forma, cuando el conductor está conversando, es probable que elija el control gestual y de mirada; mientras que cuando sus ojos están en la carretera, es mejor confiar en el habla y los gestos. Si el conductor quiere aprender más sobre las funcionalidades del vehículo, también puede señalar a los botones y preguntar qué función realiza cada uno.
Con un mejor reconocimiento gestual y el alto nivel de conectividad del coche, el espacio de interacción ya no se limita al interior. Por primera vez, los ocupantes podrán interactuar con su entorno directo, como edificios o plazas de aparcamiento. Incluso las consultas complejas pueden ser respondidas rápida y fácilmente señalando con el dedo y emitiendo un comando de voz. "¿Qué hay en este edificio? ¿Cuánto tiempo está abierto ese negocio? ¿Cómo se llama este restaurante? ¿Puedo estacionar aquí? ¿Y cuánto cuesta?"
"Los clientes deberían poder comunicarse de una forma totalmente natural con su vehículo inteligente y conectado ", explica Christoph Grote, Vicepresidente Senior de BMW Group Electronics. "La gente no debería tener que pensar qué estrategia operativa ha de emplear para conseguir lo que quiere. Deberían poder decidir libremente, y el coche debería seguir entendiéndolos. El Sistema de Interacción Natural de BMW es también un paso importante para el futuro de los vehículos autónomos, cuando los conceptos de diseño interior ya no se orienten únicamente al puesto del conductor y los ocupantes tengan más libertad".
Sistema de Interacción Natural de BMW: el siguiente paso para una operación natural
BMW siempre ha desempeñado un papel pionero en el desarrollo de sistemas que promueven el funcionamiento intuitivo. En 2001, el Grupo BMW se convirtió en el primer fabricante de automóviles del mundo en introducir una nueva lógica de control para vehículos, con el iDrive Controller. La combinación de un controlador montado en la consola central con una pantalla de control multifuncional sustituyó a una gran variedad de interruptores, botones e indicadores, y sigue siendo considerada una innovación novedosa en la industria del automóvil. Desde 2015, gracias al uso de una cámara 3D, el control gestual de BMW ha permitido un manejo sencillo y sin contacto de diversas funciones del vehículo. Con el lanzamiento del Sistema Operativo BMW 7.0 en 2018, el funcionamiento personalizado y personalizable alcanzó un nuevo nivel, gracias a las pantallas totalmente digitales, el reconocimiento de voz optimizado y un mejor control gestual. Dependiendo de sus preferencias personales y situación, el conductor puede elegir entre el controlador iDrive, los botones del volante, la pantalla táctil o el control por voz y por gestos. La importancia del control por voz, como forma más natural de interacción, es subrayada por el Asistente Personal Inteligente de BMW. Este asistente digital ayuda al conductor en diversas situaciones, y aprende sus rutinas y hábitos con cada comando de voz. Esto facilita cada vez más el manejo del vehículo, y también el acceso a las funciones y a la información a través de la voz.
El siguiente paso lógico de este desarrollo es el Sistema de Interacción Natural de BMW, que también ofrece, por primera vez, la posibilidad de utilizar gestos para aportar información direccional y local a la interacción señalando con el dedo.
Tecnología de sensores mejorada y evaluación precisa mediante la inteligencia artificial
Los avances en el reconocimiento y la evaluación de los comandos de voz, los gestos y la mirada, necesarios para la interacción natural entre el conductor y el vehículo, se logran mediante tecnologías mejoradas de sensores y análisis. Utilizando una señal de luz infrarroja, la cámara de gestos ahora puede capturar los movimientos de las manos y los dedos en tres dimensiones en todo el entorno operativo del conductor, y determinar un vector direccional preciso. Por ejemplo, es suficiente apuntar con el dedo índice al display de control y decir un comando para iniciar la operación deseada, sin necesidad de tocar la pantalla. La cámara de alta definición integrada en el panel de instrumentos también registra la dirección de la cabeza y de los ojos. La tecnología integrada en la cámara evalúa las imágenes y las utiliza para calcular los datos vectoriales necesarios, que luego se procesan en el vehículo. Para interpretar las instrucciones de voz de forma rápida y fiable, además de los gestos; la información transmitida por el conductor al vehículo de forma multimodal se combina y evalúa con ayuda de la inteligencia artificial. El algoritmo responsable de la interpretación de los datos en el automóvil se optimiza y refina continuamente mediante el aprendizaje automático y la evaluación de diferentes escenarios de funcionamiento.
Más allá del automóvil: interacción con el entorno a través de la conectividad
Gracias a las redes inteligentes, el Sistema de Interacción Natural de BMW extiende su área de actuación más allá del interior del vehículo. Por ejemplo, el conductor puede señalar con el dedo objetos en su campo de visión y dar comandos de voz relacionados, como pedir información sobre horarios de apertura o valoraciones de clientes, o reservar una mesa en un restaurante. Gracias a la profunda conectividad del vehículo, la enorme cantidad de datos del entorno y la inteligencia artificial, el Sistema de Interacción Natural de BMW transforma el vehículo en un pasajero útil y muy bien informado. Y conectando servicios digitales, será posible ampliar el alcance de la interacción en el futuro. Por ejemplo, cuando el conductor localice una plaza de aparcamiento, podrá averiguar fácilmente si se le permite aparcar allí y cuánto cuesta, y reservarla y pagarla directamente sin tener que pulsar nunca un botón.
Los beneficios para el cliente de la experiencia de realidad aumentada, en vivo
En una sofisticada instalación de realidad aumentada, BMW sumergirá a los visitantes del Mobile World Congress 2019 en diversos escenarios de aplicaciones, en los que podrán experimentar en primera persona los beneficios para el cliente del Sistema de Interacción Natural de BMW. Con las gafas de realidad virtual y un concepto espacial minuciosamente diseñado, se crea una experiencia totalmente realista, que muestra las posibilidades de este sistema durante un recorrido virtual en el BMW Vision iNEXT. Los visitantes descubrirán la libertad, desconocida hasta ahora, que permite el control gestual en toda el área detectada por la cámara de gestos, que se extiende por todo el ancho de la parte delantera del habitáculo.
Inicialmente, en el modo de aprendizaje, la detección de la dirección del gesto de apuntar se visualiza mediante un impulso de luz dinámico que sigue esa dirección. Los objetos con los que el conductor puede interactuar resaltan cuando los apunta. La combinación del gesto y el lenguaje hace que esta interacción sea muy natural. Por ejemplo, si el conductor señala una ventana lateral, ésta se resalta visualmente con un marco, y el comando de voz "Abrir" abrirá la ventana elegida. Estas posibilidades de interacción con el entorno, totalmente nuevas, se revelarán durante un viaje en conducción autónoma a través de una ciudad futurista con la que el conductor no está familiarizado. El vehículo se hace cargo de la conducción y el visitante se embarca en un recorrido turístico muy diferente, en el que simplemente apuntando a los edificios, obtiene toda la información que necesita sobre eventos y exposiciones. Al final del viaje, el usuario reserva las entradas para un cine por el que pasa a lo largo de su recorrido y visualiza el tráiler de la película directamente en el vehículo.
Funciones iniciales en el BMW iNEXT y outlook
El Sistema de Interacción Natural de BMW allana el camino para las siguientes fases de interacción natural con los vehículos. La libre combinación de instrucciones de voz, gestos y mirada crea una interacción multimodal, basada en la comunicación interpersonal. Las primeras funciones del Sistema de Interacción Natural de BMW estarán disponibles en el BMW iNEXT a partir de 2021.
El desarrollo de la interacción conductor-vehículo seguirá avanzando paralelamente. En el futuro, con la ayuda de la inteligencia artificial, este sistema seguirá progresando y la tecnología de sensores mejorada podrá tener en cuenta las emociones de los ocupantes e integrarlas en el Sistema de Interacción de forma significativa. De este modo, la interacción entre el conductor y el vehículo será aún más personalizada y adaptada a cualquier situación. Basándose en la experiencia, y en función de la situación y el estado de ánimo, el asistente inteligente podrá decidir si espera instrucciones o si hace sugerencias proactivas para la interacción.
Fuente: BMW Pressclub