Facebook apuesta por inteligencia artificial que ‘escuche’ y ‘recuerde’ los movimientos de las personas

Este jueves Facebook anunció su nuevo proyecto a largo plazo llamado Ego4D, con el que busca que los mecanismos de inteligencia artificial (IA) puedan mejorar su percepción sobre el ser humano en las situaciones de la vida diaria, teniendo en cuenta que los sistemas de IA han logrado aprender las rutinas del día a día para, por ejemplo, mostrar la ruta más rápida al trabajo.

El nuevo proyecto de la compañía de Mark Zuckerberg se marca como un desafío que la IA puede comprender e interactuar desde una perspectiva egocéntrica, de la misma manera que lo hacen la personas. No obstante, la mayoría de algoritmos, como los de imagen, se alimentan con videos en tercera persona, lo que complica este aspecto.

El objetivo es que Ego4D pueda ‘escuchar’ y ‘recordar’ todo lo que hace una persona con el objetivo de mostrar resultados que puedan ayudar en las tareas cotidianas.

“Los sistemas de inteligencia artificial de próxima generación deberán aprender de un tipo de datos completamente diferente: videos que muestren el mundo desde el centro de la acción, en lugar de al margen”, como ha asegurado la jefa de investigación de Facebook, Kristen Grauman, según recoge la compañía en un comunicado.

Estas investigaciones ayudarán a establecer pilares esenciales para que asistentes virtuales basados en IA, gafas de realidad aumentada y robots puedan ayudar a las personas en situaciones de la vida diaria, como a la hora de encontrar unas llaves perdidas, hacer una receta de cocina, enseñar a tocar una batería o recordar un momento preciso del día en forma de holograma.

La compañía ha establecido una asociación con 13 universidades y centros de investigación de nueve países. Estos organismos han recopilado más de 2.200 horas de videos en primera persona en situaciones del día a día, gracias a 700 participantes que han grabado sus rutinas diarias.

Este banco de recursos audiovisuales incrementará la cantidad de datos disponibles para la comunidad científica, siendo 20 veces más extenso que otros bancos de recursos disponibles atendiendo a las horas de imágenes almacenadas.

Facebook AI, en colaboración con este consorcio y con Facebook Reality Labs Research (FRL Research), ha desarrollado cinco puntos de referencia centrados en estas experiencias en primera persona que impulsarán avances en la implementación de estas aplicaciones en el mundo real para futuros asistentes personales.

Esto pilares son la memoria episódica, la capacidad de predicción, la manipulación de objetos con las manos, los recuerdos audiovisuales y las interacciones sociales, todos ellos campos en los que la IA actualmente no es buena replicando la perspectiva en primera persona del ser humano.

Facebook espera que el desarrollo en torno a estos cinco pilares haga posible la interacción de la IA con las personas no solo en el mundo real, sino también en el metaverso, en el que forman parte también la realidad aumentada y virtual.

“La IA no solo comenzará a comprender mejor el mundo que la rodea, sino que algún día podría personalizarse a nivel individual; podría conocer su taza de café favorita o guiar su itinerario para su próximo viaje familiar”, destacó Grauman.

Este año, el consorcio de universidades de Ego4D lanzará los datos, que podrán usarse para los objetivos permitidos, y a principios de 2022 los investigadores invitarán a expertos a un desafío para enseñar a las máquinas a entender el mundo en primera persona.

*Con información de Europa Press