Des images spectaculaires gr?ce à un algorithme efficace

Dans "Skyfall", lorsque James Bond tente de mettre son adversaire hors d'état de nuire sur le toit d'un train traversant le désert à toute vitesse, la plupart des spectateurs restent scotchés à l'écran. La tension est créée par une série de plans qui changent rapidement : Un gros plan sur le visage de Bond, puis un demi-total de la scène de combat et enfin un super-total du train, du désert et des hommes qui se battent. Le tournage de cette scène a nécessité d'énormes moyens humains, matériels et techniques. Plusieurs cameramen ont été mobilisés pendant des heures à différents endroits. Et pour les gros plans spectaculaires, il a même fallu installer une grue de caméra sur le toit du train.

Tobias N?geli, doctorant à l'Advanced Interactive Technologies Lab du professeur de l'ETH Otmar Hilliges, est convaincu qu'il est possible de filmer de telles scènes avec moins de moyens. En collaboration avec des chercheurs de la Delft University of Technology et du spin-off de l'ETH Embotech, il a développé un algorithme qui devrait permettre aux drones de filmer eux-mêmes des scènes dynamiques telles qu'elles sont imaginées par les réalisateurs et les cameramen.

Garder le contr?le sur le cadrage de l'image

Les drones sont utilisés depuis des années pour filmer. Mais pour obtenir de bonnes prises de vue, il faut généralement deux experts expérimentés - l'un pour le pilotage du drone et l'autre pour le réglage de la caméra. Cela demande beaucoup de temps et d'argent. Certes, il existe déjà aujourd'hui des drones-caméras commerciaux qui peuvent suivre de manière autonome une personne préalablement définie. "Mais le réalisateur perd alors le contr?le du cadrage et la possibilité de garder plusieurs personnes en même temps dans le champ", explique N?geli. "Nous avons donc développé une commande intuitive".

Pour expliquer le système, N?geli fait une analogie avec les robots aspirateurs : "Nous ne donnons pas au robot le chemin exact qu'il doit suivre. Transposé au film, cela signifie que pour le réalisateur, l'endroit exact où se trouve le drone à un moment donné n'est pas important. L'essentiel est que la position de la caméra corresponde à la fin à ses attentes.

L'algorithme de N?geli se charge de cette prestation de traduction du caméraman au drone. Il permet de définir avant le vol des paramètres tels que le cadrage, la personne à suivre ou les mouvements de grue et de caméra. S'y ajoutent, pour des raisons de sécurité, des limites spatiales à l'intérieur desquelles le drone peut se déplacer librement. Le trajet exact et le moment des changements de direction sont recalculés par le drone 50 fois par seconde. Les données nécessaires à cet effet proviennent de capteurs GPS.

?quipement à faible co?t et algorithme efficace

Pour une première démonstration de faisabilité, N?geli a utilisé un simple drone que l'on peut acheter sur Internet pour moins de 500 francs. L'algorithme ne fonctionne pas sur le drone lui-même, mais sur un ordinateur portable externe relié au drone par radio et antenne directionnelle. Cela permet de réaliser des vols d'une portée d'un kilomètre et demi. "Cela suffit pour la plupart des applications envisagées", commente N?geli.

Dans une première publication parue au début de l'année, N?geli a prouvé, en collaboration avec des chercheurs du Massachusetts Institute of Technology (MIT), que le drone pouvait exécuter de manière autonome des plans préalablement définis en tenant compte du cadrage ainsi que de la position et de l'angle d'un acteur dans l'image.

Ce faisant, le drone détecte également les objets gênants et les évite automatiquement. Pour une deuxième publication, N?geli a demandé à la cinéaste Christina Welter de la Haute école des arts de Zurich (ZHdK) d'esquisser une scène avec une action prédéfinie, qui nécessiterait normalement plusieurs caméras et rails pour les mouvements de caméra. N?geli a programmé deux drones communiquant entre eux avec les instructions de mise en scène correspondantes.

Il parvient ainsi à réaliser des prises de vue traditionnellement difficiles à mettre en ?uvre, comme un travelling à travers une fenêtre ouverte ou filmer avec deux caméras dans un espace intérieur confiné. Gr?ce à une programmation appropriée, N?geli a en outre pu éviter que les drones ne se prennent mutuellement pour cible.

Les cameramen de la ZHdK étaient sceptiques face à l'innovation de N?geli, après tout, la composition d'une bonne image est un métier durement appris. "Mais nous ne voulons en aucun cas remplacer le réalisateur ou les cameramen", explique N?geli. "Notre système doit plut?t élargir la palette d'outils des cinéastes et permettre des prises de vue auparavant impossibles ou nécessitant beaucoup d'efforts".

Utilisation pour les retransmissions sportives et les inspections

N?geli caresse actuellement l'idée de créer un spin-off pour commercialiser cette technologie une fois sa thèse de doctorat terminée. L'ETH Zurich a déjà déposé une demande de brevet pour l'algorithme. N?geli est convaincu que les productions médiatiques et cinématographiques pourraient s'y intéresser. C'est ce que montre notamment un projet de recherche auquel participent la Deutsche Welle et la RAI italienne et qui est soutenu par l'UE dans le cadre d'Horizon 2020.

N?geli voit un premier domaine d'application pour les algorithmes non pas dans les studios de cinéma, mais dans les retransmissions sportives pour la télévision, par exemple pour les courses de ski. "Les prises de vue dynamiques y sont extrêmement demandées", explique N?geli. "Mais les drones de tournage pilotés manuellement peuvent mettre les athlètes en danger, comme l'ont montré des crashs de drones par le passé." C'est pourquoi on utilise aujourd'hui le plus souvent des "spidercams", comme par exemple lors des championnats du monde de ski à Saint-Moritz. La caméra se déplace sur un c?ble métallique au-dessus de l'athlète. La collision d'un avion avec l'installation à Saint-Moritz en février a montré que cette méthode n'était pas non plus sans danger. "Nous faisons en fait la même chose que les spidercams, mais virtuellement et sans c?ble", explique N?geli. "Nous pouvons créer au préalable des routes aériennes virtuelles qui empêchent les drones de descendre en dessous d'une distance de sécurité minimale par rapport aux athlètes".

Les algorithmes pourraient également être utilisés pour l'inspection d'installations industrielles, par exemple pour les éoliennes, dont les défauts sont recherchés à l'aide de drones. Ou à des fins de transport : on pourrait ainsi définir des corridors aériens dans lesquels des poches de sang ou des organes de donneurs pourraient être transportés en toute sécurité en cas d'urgence. "A l'intérieur de ce corridor, le drone pourrait trouver de lui-même la route aérienne la plus rapide et la plus s?re".

Des plateaux de tournage remplis de drones

Mais revenons au film : comment la technologie va-t-elle le modifier à plus long terme ? Des scènes de plusieurs minutes seront-elles bient?t filmées exclusivement avec des drones ? "Je ne vois pas pourquoi pas", répond N?geli. "Aujourd'hui déjà, il est possible de synchroniser 50 drones. Avec notre algorithme, ils pourraient tous être programmés pour prendre exactement les images souhaitées par le réalisateur." Donc, par exemple, filmer le combat héro?que sur un train en marche dans "Skyfall", sans structure de caméra et sans armée de cameramen ? "Actuellement, l'algorithme n'en est qu'à ses débuts", explique N?geli. "Mais avec des investissements appropriés dans la technologie et une équipe engagée, nous pourrions être prêts d'ici un ou deux ans".