OMOTE / Real-time Face Tracking & Projection Mapping

Omote est le mot japonais pour visage, ou masque : la surface extérieure (omote) mise en regard de ce qui se trouve en dessous (ura). Dans le théâtre Noh, un seul masque statique peut porter tristesse, rage et tendresse selon l'inclinaison de la tête et l'angle de la lumière. Le projet s'est nourri de cette idée, questionnant ce que devient un visage lorsqu'il peut être réécrit en temps réel.

Initialement conçu comme pitch commercial pour une marque de cosmétiques qui n'a jamais abouti, l'idée était suffisamment forte pour que nous la poursuivions comme projet personnel. Trois mois de tests ont suffi à confirmer ce qui était possible, et que cela méritait plus de temps pour être bien fait.

J'ai construit le système de zéro : tracking de marqueurs faciaux en temps réel via des capteurs de motion capture, lecture de la position et de l'orientation du visage à partir de ces données, rendu d'un visage CG avec une texture animée, et projection du résultat sur un visage vivant avec suffisamment de précision et peu de latence pour que la projection cesse de paraître projetée. Aucun système comparable n'existait à l'époque, de sorte que l'approche de calibration et l'algorithme de tracking ont tous deux dû être construits from scratch.

Lorsque la vidéo a été publiée, elle a atteint sept millions de vues en quelques jours. Par ailleurs, un aspect majeur de ce projet a été le temps passé à travailler aux côtés de Hiroto Kuwahara, un maître maquilleur dont les instincts ont façonné une grande partie du langage visuel du projet. Cette collaboration ne s'est pas terminée avec Omote et a conduit à plusieurs autres projets ensemble.