Inferring 2D and 3D character animation from sketches

Abstract

Les croquis sont un médium naturel et intuitif pour transmettre des idées, largement utilisés par les amateurs comme par les professionnels. Dans le contexte de l'animation, les croquis constituent une étape intermédiaire cruciale: ils sont dessinés pour communiquer rapidement des idées à l'équipe de conception et servent plus tard de références pour créer des animations 3D dans des logiciels conventionnels. Cependant, le processus de recréation de ces animations à partir de croquis est souvent fastidieux, prend du temps et détourne les artistes de leur travail créatif. Cette recherche vise à rationaliser ce processus, permettant la création de contenu 2D et 3D plus rapide et plus efficace directement à partir de croquis naturels. Nous abordons le défi de convertir des croquis bruts en animations de haute qualité en introduisant des systèmes innovants qui exploitent l'intention artistique intégrée dans les croquis. Notre travail se concentre sur trois contributions clés: premièrement, nous présentons le premier système capable de poser automatiquement des personnages 3D riggés et skinés à partir d'un simple croquis bitmap, générant des poses qui correspondent aux attentes du spectateur. Deuxièmement, nous proposons un nouveau système d'interpolation pour les dessins de personnages bitmap, qui prend en charge à la fois l'interpolation serrée et lointaine et génère une série d'images intermédiaires de haute qualité qui interpolent en douceur entre les images d'entrée. Troisièmement, nous proposons un nouveau système de storyboard à animation, générant une animation 3D à partir d'un ensemble clairsemé de dessins de personnages 2D. En automatisant ces étapes critiques du pipeline d'animation, nos recherches réduisent l'effort manuel nécessaire à la création de contenu, permettant aux artistes de se concentrer sur leur vision créative. Ce travail représente une étape importante vers la rendre l'animation numérique plus accessible et plus efficace, en comblant le fossé entre le croquis traditionnel et les outils d'animation modernes. Sketches are a natural and intuitive medium for conveying ideas, used extensively by both amateurs and professionals. In the context of animation, sketches serve as a crucial intermediate step: they are drawn to quickly communicate ideas to the design team and later used as references for creating 3D animations in conventional software. However, the process of recreating these animations from sketches is often tedious, time-consuming, and distracts artists from their creative work. This research aims to streamline this process, enabling faster and more efficient 2D and 3D content creation directly from natural sketches. We address the challenge of converting rough sketches into high-quality animations by introducing novel systems that leverage the artistic intent embedded in sketches. Our work focuses on three key contributions: first, we present the first system capable of automatically posing 3D rigged and skinned characters from a single bitmap sketch, generating poses that align with viewer expectations. Second, we propose a novel inbetweening system for bitmap character drawings, which supports both tight and far inbetweening and generates a series of high-quality intermediate frames that smoothly interpolate between input images. Third, we propose a novel storyboard to animation system, generating 3D animation from sparse set of 2D character drawings. By automating these critical steps in the animation pipeline, our research reduces the manual effort required for content creation, enabling artists to focus on their creative vision. This work represents a significant step toward making digital animation more accessible and efficient, bridging the gap between traditional sketching and modern animation tools.