Comment la technologie d'IA de l'ETH anime les créatures de feu dans le dernier film de Pixar
Le dernier film d'animation "Elemental" des studios Walt Disney et du studio d'animation Pixar sort aujourd'hui dans les cinémas suisses. Le film tourne autour de la fougueuse Ember, qui vit à Element City - un lieu où vivent des êtres de feu, d'eau, de terre et d'air. Le film ne contient pas seulement des éléments hollywoodiens, mais aussi des technologies de l'ETH.
Le personnage principal, Ember, est une créature élémentaire ardente dont la tête est constituée de flammes en perpétuel mouvement. Reproduire ces flammes et ces courants de chaleur de manière réaliste a constitué un défi de taille pour les réalisateurs de films d'animation, comme l'a récemment montré le page externeLe magazine tech Wired a rapporté - avec la technologie de l'ETH, ils sont finalement parvenus à une solution qui fait appara?tre la structure des flammes sur le visage d'Ember de manière si prononcée que cela n'était pas possible avec les technologies de simulation utilisées jusqu'à présent.
"Notre technologie donne aux flammes un style unique et constitue ainsi un outil permettant aux artistes de soutenir visuellement une histoire", explique von Barbara Solenthaler, professeure d'infographie à l'ETH et directrice du groupe de simulation et d'animation. C'est sous sa direction que la nouvelle technologie a été développée en 2019/2020 au Computer Graphics Lab de l'ETH Zurich.
Transmettre des images pour soutenir une histoire
La nouvelle technologie de simulation 3D utilise l'intelligence artificielle et permet un contr?le artistique sur l'apparence et les structures de la fumée, du feu ou des liquides. Gr?ce à cette IA, les nuages de fumée peuvent par exemple être utilisés de manière ciblée pour le storytelling visuel. La technologie de l'ETH peut en effet modifier artistiquement les flammes, les nuages de fumée ou les liquides de manière à soutenir l'histoire.
La technologie ne contr?le pas la forme extérieure, mais les structures locales dans la fumée. Elle peut par exemple calculer un motif en spirale sur le nuage de fumée. Elle peut tout aussi bien appliquer le style du tableau de Van Gogh "Nuit étoilée" à la fumée. "Notre technologie peut transférer la structure de n'importe quelle image d'entrée sur la fumée, les flammes ou même les liquides", explique Barbara Solenthaler. Une vidéo du groupe de Solenthaler montre très bien la formation de nuages en forme de lièvre. Dans une autre, qui vaut également le détour page externeVidéo l'équipe de Solenthaler montre comment elle peut représenter les phénomènes de courant, de feu et de fumée de manière à la fois artistique et naturelle.
L'intérêt de Disney aussit?t éveillé
Peu de temps après sa publication par les chercheurs de l'ETH, la technologie de simulation 3D basée sur l'IA a suscité un grand intérêt de la part des Walt Disney Studios. "La technologie est née à l'ETH et son code est disponible en open source", explique Barbara Solenthaler, "nous avons ensuite transféré la technologie dans les pipelines des studios d'animation Disney et du studio d'animation Pixar avec l'aide des studios de recherche Disney à Zurich".
En 2021 déjà, la technologie de l'ETH a été utilisée pour la première fois dans le film fantastique animé par ordinateur "Raya et le dernier dragon" - dans une publication en ligne. page externeScène,Dans le film, des formations de fumée s'échappant d'une ruine se répandent en cercle. "L'effet du film Raya était basé sur notre publication de l'ETH. Pour le film Pixar Elemental, actuellement dans les cinémas suisses, Disney Research Studios à Zurich a continué à développer la technologie et l'a utilisée pour le personnage principal Ember", explique Solenthaler.
Une technologie pour le personnage principal
Concrètement, Elemental raconte que le personnage principal, Ember, est une créature de feu dont le visage est constamment animé d'un mouvement de flammes. La nouvelle technologie de l'ETH a permis de transposer sur l'apparence d'Ember une structure de flammes initialement créée de manière artistique, de sorte que le feu et les flammes apparaissent sur le corps d'Ember de manière extrêmement fidèle. La technologie de l'ETH a contribué à "donner vie" à Ember et aux autres créatures de feu qui peuplent Element City, selon le terme de l'école. page externeWalt Disney Studios ont récemment rendu hommage.
Les chercheurs de l'ETH n'ont plus été impliqués dans l'élaboration finale de ces effets, qui ont été page externeachevé par Disney Research Studios et Pixar Animation Studio lui-même.. La manière dont la tête de flamme d'Ember a été animée dans le film avec la nouvelle technologie est désormais également disponible. page externedocumente. "Quand je vois à quel point les effets d'Elemental et d'Ember en particulier sont fascinants, je suis ravie que notre recherche en soit le point de départ", déclare Solenthaler.
Références bibliographiques
Tang, J, Kim, B, Azevedo, VC, Solenthaler, B. Physics-Informed Neural Corrector for Deformation-based Fluid Control. COMPUTER GRAPHICS forum Volume 42 (2023), Numéro 2. page externeAvec la vidéo.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Lagrangian Neural Style Transfer for Fluids. Proceedings of ACM SIGGRAPH (Washington, D.C., US, July 19-23, 2020), ACM Transactions on Graphics, vol. 39, no. 4, pp. 1:1-1:10. Avec la vidéo.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Transport-Based Neural Style Transfer for Smoke Simulations. Proceedings of ACM SIGGRAPH Asia (Brisbane, Australia, November 17-20, 2019), ACM Transactions on Graphics, vol. 38, no. 6, pp. 188:1-188:11. Avec la vidéo.