Apple esconde dentro de su headset de realidad virtual Vision Pro de $3,499 una función que continúa impresionando, aunque probablemente nunca hayas oído hablar de ella. La función, llamada Personas, permite que dos o más usuarios, todos usando Vision Pro, conversen entre sí en tiempo real como réplicas virtuales sorprendentemente realistas.
Ahora fuera de la fase beta, los Personas forman parte del sistema de avatares de Apple para Vision Pro, creando réplicas de uno mismo mediante un escaneo fotográfico 3D.
Una experiencia sin precedentes en telepresencia
Escanearme a mí mismo no es algo nuevo. Hace unos cinco años, probé telepresencia con avatares escaneados en 3D usando gafas AR Nreal con una empresa llamada Spatial. He visto los avatares codec realistas de Meta. Exploré la telepresencia con avatares de dibujos animados con Microsoft en HoloLens. Incluso me he escaneado en todo tipo de deepfakes extraños usando la aplicación Sora de OpenAI.
Aún así, nadie está haciendo nada en headsets de realidad virtual o aumentada tan avanzado como los Personas de Vision de Apple. Y aún no hemos visto ni el principio de lo buenas que pueden llegar a ser las cosas.
Para aprender más, me puse un headset Vision Pro M5 y salté a un FaceTime para una charla exclusiva con Jeff Norris, director senior del grupo de productos Vision de Apple, y Steve Sinclair, director senior de marketing de productos. Los dos aparecieron como Personas en mi oficina en casa. Entramos vagando como fantasmas cuando comenzó la reunión, cara a cara, por así decirlo. Después de unos minutos, se sintió como si realmente estuviéramos pasando tiempo juntos en persona.
La telepresencia real es magia cara
Es difícil encontrar otra persona que tenga un Vision Pro, pero cuando lo he hecho, la extraña sensación de alguien caminando como un fantasma en mi casa es como brujería. VisionOS de Apple ha evolucionado para permitir colaboración entre Personas, expandiendo espacios virtuales para hasta cinco personas que pueden ver y compartir objetos y aplicaciones virtuales juntas. Varias personas en la misma habitación usando headsets Vision pueden colaborar con Personas que pueden aparecer remotamente también.
He soñado con esa idea de telepresencia estilo Tony Stark, hologramas de Star Wars, durante años. Básicamente ya está aquí. Solo que está encerrada en hardware muy caro.
Las gafas inteligentes aún no han podido manejar la carga de avatares como estos, aunque gafas AR de Snap y otros podrían intentarlo pronto. Mi pregunta para Apple es: ¿qué tecnología está haciendo posible los Personas, y podría aparecer alguna vez en otro lugar?
Tecnología de escaneo por splatting con aprendizaje automático
En nuestra reunión, Norris explica que la tecnología Persona utiliza splatting gaussiano para crear esos escaneos faciales 3D sorprendentemente convincentes. El splatting gaussiano es la tecnología clave para muchas aplicaciones 3D en este momento, a menudo aplicada para escanear objetos o entornos a gran escala. La aplicación Hyperscape Capture de Meta en Quest puede escanear habitaciones enteras en espacios 3D transitables en realidad virtual, por ejemplo. Teje una imagen o paisaje 3D a partir de una serie de imágenes 2D usando IA.
Lo que hace únicos a los Personas es el enfoque en escanearte a ti mismo en lugar de tu entorno. Usando VisionOS 26, Norris me mostró los cambios clave respecto a las versiones anteriores de Persona. Los renders ahora pueden mostrar mayor detalle en múltiples ángulos y capturar detalles como joyas y pestañas. Los cuerpos y rostros se escanean juntos, lo que hace que el render se sienta más fluido.
«Hay aprendizaje automático involucrado, pero no mucha gente se da cuenta realmente de que es un concierto de redes que se unen», dice Norris. «Las contamos, son más de una docena, pero en realidad redujimos el número cuando nos movimos a esta nueva versión de Personas.»
Mencioné la posibilidad de escanear habitaciones en Vision Pro en el futuro (aplicaciones como Scaniverse y Polycam ya muestran escaneos 3D en headsets). Norris dice que Apple ya está aplicando splatting gaussiano a las conversiones espaciales 3D de fotos, que ahora se ven extrañamente inmersivas en los headsets. Entonces, ¿qué sigue?
No se necesita mucho para capturar las fotos necesarias. ¿Podría hacerse en iPhones?
Aunque el escaneo de Persona se hace a través del headset Vision Pro, lo que requiere que sostenga el headset para girar la cabeza y escanear, no es un proceso que requiera usar extensivamente los sensores de Vision Pro.
«Solo necesitamos un puñado de imágenes cuando estamos inscribiendo tu Persona», me dice Norris. «Eso incluye algunas expresiones faciales para ayudar a nuestras redes a entender cómo se mueve tu rostro cuando hablas y sonríes. Y eso es todo.»
Me pregunto si un iPhone podría eventualmente escanear un Persona, lo que me resultaría mucho más fácil que usar el Vision Pro. Norris no responde eso directamente.
«Es interesante imaginar diferentes formas de lograr eso», responde. «Pero ahora mismo, nos encanta que sea autónomo al dispositivo y que todo el procesamiento suceda en el dispositivo. Ninguna de estas imágenes tiene que ir a ningún lado para que eso ocurra.»
¿Qué podría significar esto para nuestro futuro sentido de identidad virtual?
El único Persona que escaneo y vinculo a mi Apple ID en Vision Pro se siente como si estuviera diseñado para actuar como un mapeo uno a uno de mi yo virtual. Es lo más cercano que tiene Apple a un sustituto para usar una cámara para transmitir mi rostro real, lo cual no puede hacerse ya que estoy usando un headset.
Las empresas de IA ya están escaneando y generando versiones virtuales de personas en un número creciente de deepfakes, tanto intencionados como no intencionados. La aplicación Sora de OpenAI es el ejemplo más prominente ahora, y usa un tipo similar de tecnología de escaneo facial en iPhones para generar un «Cameo» de mí mismo que puedo prestar a otros.
Le pregunto a Norris dónde se puede trazar la línea en el futuro. Deja claro que Apple quiere representar clara y seguramente a una persona en tiempo real, no como una reproducción.
«Hemos enfocado los Personas en ese objetivo de representación auténtica», dice. «Estamos tratando de conceder lo que creo que es un deseo humano fundamental, que es: ‘Desearía que estuvieras aquí’. Eso comienza tratando de ser fieles a cómo nos vemos, y cómo nos movemos, y cómo expresamos emociones mientras hablamos.»
¿Puedo tener más de un Persona, o más personalización?
En este momento, Apple te limita a usar un escaneo de Persona a la vez, lo cual me sorprende. Me encantaría una variedad de avatares de Scott Stein en diferentes estados de ánimo o simplemente con diferentes ropas. Aunque Apple no explora la transformación de identidad a través de escaneos, sí aprecio las opciones para gafas realistas, y me encantaría poder agregar más accesorios.
«Las personas pueden volver a inscribirse o simplemente ponerse una camisa diferente e inscribirse nuevamente», dice Norris. «Entiendo totalmente por qué eso sería algo que querríamos. Pero nos estamos enfocando en solo uno a la vez ahora mismo.»
¿Los Personas se extenderían alguna vez fuera de Vision Pro?
Ya estoy pensando en más opciones para los Personas, no solo para el costoso headset de Apple, sino también para iPhones y otros dispositivos.
¿Qué pasaría si pudieran ser sustitutos personales en nuestras llamadas de FaceTime? Ya puedo llamar a mi esposa por FaceTime desde Vision Pro, y ella puede ver mi Persona en 2D allí. Se ríe de ello porque se siente algo sobrenatural. Si Apple ya ha abierto tanto la puerta con Animoji en FaceTime, ¿por qué no también con Personas?
Norris insiste en que los Personas funcionan mejor en el headset Vision, con lo que estoy de acuerdo. Los renders se sienten más convincentes, de alguna manera. Cuando nos colocamos en entornos que ya están medio compuestos de cosas virtuales, estas identidades escaneadas en 3D parecen más naturales. Pero la distancia física y las expresiones corporales también pueden ocurrir en el espacio. Los Personas pueden salir de su caja y flotar como torsos, manos y rostros.
«Puedo contar un chiste y lo vas a entender porque vas a ver mi lenguaje corporal y mis expresiones faciales que no ves en una pantalla bidimensional», dice Sinclair. «Aquí, estamos en la habitación juntos, y se siente como si realmente estuviéramos aquí.»
Mientras su Persona está de pie junto a mi escritorio desordenado en esa forma virtual, me doy cuenta de que tiene razón.
Aplicaciones profesionales inesperadas
Apple ya está recibiendo retroalimentación sobre esto para usos empresariales. «También estamos escuchando sobre ello en atención médica», dice Norris. «Doctores que crean procedimientos y quieren entrenar a otras personas. No tienen que viajar por todo el país. Simplemente pueden hacer una llamada de FaceTime con sus Personas.»
Todavía veo un futuro donde iPhones, iPads, laptops y headsets colaboran juntos, algo a lo que empresas como Microsoft y Qualcomm han apuntado como un puente entre headsets y dispositivos de pantalla plana. Samsung y Google están discutiendo esos tipos de puntos de conexión con Android XR también. Apple tiene ARKit en iPhones e iPads, así que las posibilidades ya existen.
Norris dice que los Personas fuera de un headset estarían perdiendo algo ahora mismo. «Para obtener la apreciación completa de la experiencia, realmente tienes que tener tanto las capacidades de detección como las increíbles capacidades de pantalla. Realmente tienen que unirse para crear un momento mágico como este.»
El futuro de la identidad virtual
Mientras Apple se mueve hacia una esperada línea de gafas inteligentes en el futuro, e inevitablemente hacia iPhones e iPads más avanzados, esa filosofía podría evolucionar. Los Personas son el comienzo de un cambio fundamental en cómo manejamos la colaboración y la conexión.
Sin embargo, por el momento, nunca experimentarás esto a menos que estés dentro de un Vision Pro. Espero con ansias un tiempo en que el boleto de entrada a este mundo mágico de telepresencia sea mucho más asequible y esté mejor distribuido, para que más personas puedan subir a bordo.
Ahora mismo, mi Persona está principalmente solo. Me encantaría poder tener compañía más a menudo.
