Warner Bros. almacena la 'Superman' en un vidrio de cuarzo

Microsoft y Warner Bros. han colaborado para almacenar y recuperar con éxito toda la icónica película de 1978 “Superman” en un trozo de vidrio del tamaño de una montaña rusa, de 75 por 75 por 2 milímetros de espesor.

Fue la primera prueba de prueba de concepto para Project Silica , un proyecto de investigación de Microsoft que utiliza descubrimientos recientes en óptica láser ultrarrápida e inteligencia artificial para almacenar datos en vidrio de cuarzo. Un láser codifica datos en vidrio creando capas de rejillas y deformaciones tridimensionales a nanoescala a varias profundidades y ángulos. Los algoritmos de aprendizaje automático leen los datos nuevamente decodificando imágenes y patrones que se crean a medida que la luz polarizada brilla a través del vidrio.

El vidrio de sílice duro puede resistir ser hervido en agua caliente, horneado en horno, microondas, inundado, fregado, desmagnetizado y otras amenazas ambientales que pueden destruir archivos históricos o tesoros culturales invaluables si las cosas salen mal.

Representa una inversión de Microsoft Azure para desarrollar tecnologías de almacenamiento creadas específicamente para patrones de computación en la nube, en lugar de depender de medios de almacenamiento diseñados para trabajar en computadoras u otros escenarios. Es solo una de las muchas maneras en que Azure confía en la experiencia de investigación de Microsoft para resolver desafíos a corto y largo plazo, desde las pruebas de centros de datos subacuáticos de Project Natick hasta el poder de procesamiento FPGA de Project Brainwave y la investigación emergente de Óptica para la Nube .

“Almacenar toda la película ‘Superman’ en vidrio y poder leerla con éxito es un hito importante”, dijo Mark Russinovich, director de tecnología de Azure. “No digo que todas las preguntas hayan sido respondidas completamente, pero parece que ahora estamos en una fase en la que estamos trabajando en el refinamiento y la experimentación, en lugar de hacer la pregunta ‘¿podemos hacerlo?'”

Warner Bros., que se acercó a Microsoft después de enterarse de la investigación, siempre está buscando nuevas tecnologías para salvaguardar su vasta biblioteca de activos: tesoros históricos como “Casablanca”, programas de radio de la década de 1940, cortometrajes animados, películas teatrales digitales, comedias de televisión, diarios de platós de cine. Durante años, habían buscado una tecnología de almacenamiento que pudiera durar cientos de años, soportar inundaciones o erupciones solares y que no requiriera mantenerse a una temperatura determinada o que necesitara una renovación constante.

“Ese siempre fue nuestro faro de esperanza para lo que creíamos que sería posible algún día, así que cuando supimos que Microsoft había desarrollado esta tecnología basada en vidrio, quisimos demostrarlo”, dijo Vicky Colf, Director de Tecnología de Warner Bros. .

Una mano sostiene un trozo de vidrio de sílice con la película de 1978 'Superman'
En una prueba de prueba de concepto para el Proyecto Silica, Microsoft y Warner Bros. han almacenado y leído con éxito la clásica película de 1978 “Superman” en una pieza de vidrio de sílice duradero de 7,5 cm x 7,5 cm x 2 mm, aproximadamente del tamaño de una bebida portavasos. El cristal contiene 75,6 GB de datos más códigos de redundancia de error. Foto de Jonathan Banks para Microsoft.

Disminuyendo los costos de almacenamiento a largo plazo

La mayoría de la gente piensa en “la nube” como una forma de almacenar todo, desde miles de fotos familiares hasta millones de correos electrónicos, sin ocupar espacio en su teléfono o computadora. Pero toda esa información se almacena físicamente en el hardware en una ubicación remota, lo que le permite acceder a ella desde múltiples dispositivos.

La cantidad de datos que la humanidad ahora está buscando almacenar, desde registros médicos hasta videos divertidos de gatos e imágenes tomadas por naves espaciales, está explotando al mismo tiempo que la capacidad de las tecnologías de almacenamiento existentes se está reduciendo.

Los costos de almacenamiento a largo plazo aumentan por la necesidad de transferir datos repetidamente a medios más nuevos antes de que se pierda la información. Las unidades de disco duro pueden desgastarse después de tres a cinco años. La cinta magnética solo puede durar de cinco a siete. Los formatos de archivo se vuelven obsoletos y las actualizaciones son caras. En sus propios archivos digitales, por ejemplo, Warner Bros. migra proactivamente el contenido cada tres años para adelantarse a los problemas de degradación.

El almacenamiento de vidrio tiene el potencial de convertirse en una opción de menor costo porque solo escribe los datos en el vidrio una vez. Los láseres de femtosegundos, que emiten pulsos ópticos ultracortos y que se usan comúnmente en la cirugía LASIK, cambian permanentemente la estructura del vidrio, por lo que los datos pueden conservarse durante siglos.

El vidrio de cuarzo tampoco necesita aire acondicionado de alto consumo de energía para mantener el material a una temperatura constante o sistemas que eliminen la humedad del aire, lo que podría reducir la huella ambiental del almacenamiento de datos a gran escala.

“No estamos tratando de construir cosas que pones en tu casa o reproduces películas. Estamos construyendo almacenamiento que opera a escala de nube ”, dijo Ant Rowstron, subdirector asociado de laboratorio de Microsoft Research Cambridge en el Reino Unido, que colaboró ​​con la Universidad de Southampton para desarrollar el Proyecto Silica.

“Una gran cosa que queríamos eliminar es este ciclo costoso de mover y reescribir datos a la próxima generación. Realmente queremos algo que pueda poner en el estante durante 50 o 100 o 1,000 años y olvidar hasta que lo necesite ”, dijo Rowstron.

El Proyecto Silica tiene como objetivo almacenar lo que se conoce como datos “en frío”, datos de archivo que pueden tener un gran valor o que las empresas deben mantener, pero no es necesario acceder a ellos con frecuencia. Eso podría incluir datos médicos que deben conservarse durante toda la vida del paciente, datos de regulación financiera, contratos legales, información geológica relacionada con la exploración energética y planes de construcción que las ciudades deben conservar.

Warner Bros. estaba muy interesado en ayudar a Microsoft a probar soluciones que podrían aliviar los costos y las ineficiencias asociadas con el almacenamiento de datos en estos horizontes de mucho tiempo, dijo Colf.

“Con la biblioteca de contenido más grande en la industria de medios y entretenimiento en muchos aspectos, nuestros desafíos son únicos en su escala, pero ciertamente no son únicos en términos del problema que estamos tratando de resolver”, dijo.

Convertir los datos digitales en artefactos físicos

Con una historia de casi 100 años en cine y televisión, Warner Bros. posee una de las bibliotecas de entretenimiento más profundas y significativas del mundo. Relanzar películas antiguas en nuevos formatos o para nuevos públicos es una parte importante del negocio. También es una responsabilidad cultural tremenda preservar algunas de las historias más queridas del mundo a perpetuidad, dijo Colf.

“Imagínense si un título como ‘El mago de Oz’ o un programa como ‘Amigos’ no estuviera disponible para generación tras generación para disfrutar, ver y comprender”, dijo. “Creemos que es inimaginable, y es por eso que nos tomamos el trabajo de preservar y archivar nuestro contenido extremadamente en serio”.

La compañía tiene planes de redundancia para manejar múltiples escenarios del peor de los casos: un terremoto o huracán que golpea una de las costas, un incendio donde los sistemas de supresión no se activan o una falla del control climático que permite que la humedad se acumule y arruine stock de película

El objetivo es tener tres copias archivadas de cada activo almacenadas en diferentes lugares del mundo: dos copias digitalizadas separadas, junto con la copia física original en cualquier medio en el que se haya creado un episodio de película o televisión o un dibujo animado.

Afortunadamente, los negativos de película originales durarán siglos si se almacenan en las condiciones adecuadas. Pero para algunos programas de televisión más antiguos (piense en episodios de “Alice” filmados en la década de 1970) la copia física original tiene una vida útil limitada que requiere la migración a formatos más nuevos. Y para las películas y los programas de televisión de hoy en día que se graban digitalmente, la tercera copia con calidad de archivo tiene un ciclo de migración muy corto de tres a cinco años, que es difícil de administrar.

“Digamos que un programa de televisión está ingresando directamente en nuestros archivos digitales; no hay nada físico “, dijo Steven Anastasi, vicepresidente de Warner Bros. para archivos de medios globales y servicios de preservación. “El archivo digital está entrando pero no tengo nada que pueda poner en una bóveda o en una mina de sal o cualquier cosa física que ingrese al edificio”.

El investigador Youssef Assaf deja caer un cuadrado de vidrio de sílice en un hervidor de agua hirviendo para demostrar su durabilidad
El investigador de sílice de Microsoft Project, Youssef Assaf, deja caer un cuadrado de vidrio de sílice en un hervidor de agua hirviendo para demostrar su durabilidad. El equipo ha horneado, hervido, microondas, desmagnetizado y fregado piezas similares de vidrio con lana de acero, sin perder los datos almacenados en el interior. Foto de Jonathan Banks para Microsoft.

Warner Bros. está potencialmente buscando en Project Silica para crear un activo físico permanente para almacenar contenido digital importante y proporcionar copias de seguridad duraderas. En este momento, para lanzamientos teatrales que se graban digitalmente, la compañía crea una tercera copia de archivo convirtiéndola nuevamente en película analógica. Divide el metraje final en tres componentes de color: cian, magenta y amarillo, y transfiere cada uno a negativos de película en blanco y negro que no se desvanecerán como la película de color.

Esos negativos se guardan en un archivo de almacenamiento en frío. En estas bóvedas altamente gestionadas, la temperatura y la humedad están estrechamente controladas, y los rastreadores de aire buscan signos de descomposición química que puedan indicar problemas. Si necesitan recuperar la película, deben revertir esos complicados pasos.

Ese proceso es costoso, y solo quedan unos pocos laboratorios cinematográficos en el mundo que puedan hacerlo. Y el proceso no es óptimo desde el punto de vista cualitativo, dijo Brad Collar, vicepresidente senior de ingeniería global de archivos e ingeniería de medios de Warner Bros.

“Cuando filmamos algo digitalmente, con ceros y unos que representan los píxeles en la pantalla, e imprimimos eso en un medio analógico llamado película, destruimos los valores de píxeles originales. Y, claro, se ve bastante bien, pero no es reversible ”, dijo Collar.

“Si podemos tomar la representación digital de esos píxeles y ponerla en un medio como sílice y leerla exactamente como estaba cuando salió de la cámara, hemos hecho nuestro trabajo de preservación lo mejor que hemos podido”. . Eso es lo que me encanta de esto ”, dijo.

No es económico crear negativos de películas de archivo para cada episodio de televisión grabado digitalmente en la biblioteca de Warner Bros. La compañía espera que Project Silica sea una alternativa más barata y de mayor calidad para crear archivos físicos de contenido digital.

Hay mucho más trabajo por delante para alcanzar esa escala: los investigadores de Microsoft tendrían que aumentar significativamente la velocidad a la que se pueden escribir y leer los datos, así como su densidad. Warner Bros. visualiza su propia infraestructura para leer datos de los archivos de vidrio. Pero ambos socios ven prometedor en lo lejos que han llegado.

“Si la solución de almacenamiento de Project Silica demuestra ser tan rentable y escalable como podría ser, y todos reconocemos que aún es temprano, esto es algo que nos encantaría ver adoptado por otros estudios y nuestros pares y otras industrias, Dijo Colf.

“Si funciona para nosotros, creemos firmemente que esto será un beneficio para cualquiera que quiera preservar y archivar contenido”, dijo.

Diseñando almacenamiento para la nube

Es imposible saber cuánta información se ha perdido porque nadie se dio cuenta de su valor en ese momento, desde películas mudas que nadie imaginó que se verían fuera de un teatro hasta datos históricos de los que las herramientas analíticas modernas y la IA podrían obtener nuevas ideas.

Uno de los objetivos de la investigación de almacenamiento de próxima generación de Microsoft, que incluye esfuerzos paralelos para almacenar datos en el ADN , es desarrollar soluciones que sean lo suficientemente baratas y sin esfuerzo como para que realmente no tenga que elegir si desea almacenar sus datos, la empresa dice.

Los investigadores de Microsoft pasaron años tratando de llegar allí con tecnologías actualmente utilizadas en centros de datos. Pero el tamaño, la forma y las limitaciones de cosas como la cinta de carrete y los discos giratorios, todos los cuales fueron inventados para otros fines mucho antes de que existiera la nube, simplemente no pudieron obtener las ganancias que querían.

“Finalmente, pensamos ‘¿podemos construir algo desde cero para la nube que no necesite hacer nada más?'”, Dijo Rowstron.

Lanzaron una colaboración con el Centro de Investigación Optoelectrónica de la Universidad de Southampton, donde los investigadores demostraron originalmente cómo almacenar datos en vidrio con láser de femtosegundo. Con la inversión de Azure, el laboratorio de Microsoft en Cambridge, Reino Unido, creó un equipo interdisciplinario de físicos, expertos en óptica, ingenieros eléctricos e investigadores con experiencia en almacenamiento para impulsar aún más la tecnología.

Desde entonces, el equipo de investigación de Microsoft ha logrado avances espectaculares en velocidad y precisión. También han trabajado estrechamente con sus contrapartes de Azure para diseñar Project Silica teniendo en cuenta los desafíos y requisitos diarios del almacenamiento en la nube comercial.

“Obtener todas sus aportaciones y pensar en el proyecto desde el primer día significa que vamos a generar algo al final que sea realmente útil para ellos”, dijo Rowstron sobre la relación con el equipo de producto de Azure.1 de 8Warner Bros.

Los láseres infrarrojos del Proyecto Silica codifican datos en “vóxeles”, el equivalente tridimensional de los píxeles que forman una imagen plana. A diferencia de otros medios de almacenamiento ópticos que escriben datos en la superficie de algo, Project Silica almacena datos dentro del propio vidrio. Una pieza de vidrio de 2 mm de espesor, por ejemplo, puede contener más de 100 capas de vóxeles.

Los datos se codifican en cada vóxel cambiando la fuerza y ​​la orientación de los pulsos láser intensos que deforman físicamente el vidrio. Es algo así como crear icebergs boca abajo a nivel de nanoescala, con diferentes profundidades y tamaños y surcos que los hacen únicos.

Para volver a leer los datos, los algoritmos de aprendizaje automático decodifican los patrones creados cuando la luz polarizada brilla a través del vidrio. A diferencia del almacenamiento en cinta, que requiere tiempo para llegar al lugar que desea leer, los algoritmos pueden concentrarse rápidamente en cualquier punto dentro del cuadrado de vidrio, lo que puede reducir el tiempo de retraso para recuperar la información.

“Si tiene la edad suficiente para recordar rebobinar y reenviar canciones en cintas de cassette, puede llevar un tiempo llegar a la parte que desea”, dijo Richard Black, ingeniero principal de software de investigación de Microsoft. “Por el contrario, es muy rápido volver a leer desde el vidrio porque puede moverse simultáneamente dentro de los ejes xo yo z”.

A diferencia de las frágiles copas de vino o las bombillas, los cuadrados de vidrio de cuarzo utilizados para el almacenamiento de datos son sorprendentemente difíciles de destruir. Al principio, el equipo de investigación intentó hornear uno en un horno a 500 grados, hornear en microondas, hervirlo y fregarlo con lana de acero. Y cuando volvieron a leer los datos, todo estaba allí.

Eso tenía mucho sentido para los archiveros de Warner Bros., que hace años descubrieron cajas de series de radio Superman grabadas en la década de 1940 en piezas de vidrio de tamaño récord.

“En realidad, encontramos jugadores en los que podíamos jugar estas cosas nuevamente, y eran igual de buenos porque estaban almacenados en vidrio. Y pudimos digitalizar y guardar esas maravillosas piezas de contenido ”, dijo Collar.

“Entonces, uno de nuestros activos más antiguos en nuestra bóveda es el vidrio y una de las tecnologías más nuevas en nuestra bóveda es el vidrio. Y ambos son Superman. Así que realmente hemos cerrado el círculo ”, dijo.