Des outils de doublage qui intègrent de l’IA au kilomètre
Ces outils de doublage synthétique assemblent plusieurs techniques d’intelligence artificielle déjà présentes sur le marché :
- la transcription du son vers le texte (comme pour YouTube ou TikTok, qui génère des sous-titres automatiques sur ses vidéos)
- la traduction à la volée (Comme DeepL, ChatGPT ouGoogle Translate…),
- la synthèse vocale de texte, et le « clonage » d’une voix à partir d’un enregistrement
Certaines IA vont même un cran plus loin en intégrant la modification des images de la vidéo pour synchroniser les lèvres avec la voix traduite.
Constat aujourd’hui pour le multilingue
Aujourd’hui on a peu de choix pour proposer du contenu multilingue en vidéo.
On a 3 solutions en fait
- intégrer des sous titres, mais bien souvent ça n’embarque pas les émotions, c’est très difficile pour l’humour par exemple .Donc le sous titrage est une méthode plutôt froide qui ne permet pas à tous types de contenus de trouver leur public.
- soit on trouve une personne bilingue pour nous faire une voix off ou enregistrer la vidéo en 2 exemplaires
- Et ensuite quand on a pas le choix ou qu’on peut se le permettre on fait appel à un doubleur
—
Les professionnels du doublage en PLS
En 2021, la société Deepdub a traduit entièrement le film américain « Every Time I Die ». Un film sorti sur Netflix. La traduction été faite en espagnol d’Amérique latine et en portugais brésilien grâce à une technologie de synthèse vocale à base d’IA.
Pour les producteurs le doublage par IA offre la possibilité traduire des films dans des langues habituellement laissées de côté.
—
YouTube se lance dans le doublage généré par IA.
La fonction est nommée « Aloud », et permet en un clic de générer une piste sonore pour une vidéo dans une autre langue.
La fonction est nommée « Aloud », et permet en un clic de générer une piste sonore pour une vidéo dans une autre langue. Il ne s’agit pas (pour l’instant) de modifier la vidéo pour que les mouvements des lèvres correspondent au texte dans la langue traduite, mais un doublage automatique se positionnera en surimpression de la vidéo.
Cette fonctionnalité est en essai depuis plusieurs mois et des tests ont été faits sur plusieurs créateurs sur des vidéos doublées en plusieurs langues. Les versions autres que celle en langue principale des vidéos ont pesé pour 15 % du temps de visionnage de ces dernières.
Par défaut, YouTube lancera une vidéo dans la langue préférée des utilisateurs.
On est donc sur une première version d’un bon outil de doublage, qui viendra largement monter le niveau des sous titres .
D’ailleurs côté technique on voit bien sur les vidéos Démo qu’on passe d’abord par une phase d’identification et transcript du texte que vous pouvez ensuite contrôler et modifier avant de lancer la traduction.
Seuls certains créateurs et créatrices ont accès à « Aloud », sous forme de test, et seulement dans deux langues, l’espagnol et le portugais, traduits depuis l’anglais. Mais à terme, le déploiement inclura « les langues européennes, l’hindi, l’indonésien et le japonais ». En revanche, YouTube ne donne pas de date de lancement.
La possibilité de changer de langue se cache dans la section « pistes audio » de l’onglet paramètres.
Pour l’instant Aloud est en test sur certains créateurs et uniquement disponibles en Anglais, Hindi, portugais et indonésien.
—
Une application bluffante : Captions
Cette application mobile permet, grâce à l’intelligence artificielle (IA), de générer un doublage automatique, tout en clonant la voix de l’interlocuteur et en synchronisant sa diction.
J’ai fais un petit test ce matin avec l’intro du Super Daily, il me l’a traduite en direct en Coréen. C’est ouf !
L’application gère aussi les sous titrages.
https://drive.google.com/file/d/12PFM2hMMNzoV6WXU7-dqMXvhokMER_Mz/view?usp=share_link
Le site dont tout le monde parle : Heygen
Startup américaine dont on parle depuis plusieurs semaines et qui permet d’obtenir un rendu de doublage hyper réaliste.
Cet outil basé sur l’intelligence artificielle est capable de traduire une vidéo dans une autre langue tout en gardant une parfaite synchronisation avec le mouvement des lèvres.
Et bonus, le timbre de voix est respecté,
« En supprimant les barrières linguistiques, on rend le contenu accessible à l’ensemble de la population mondiale », explique Joshua Xu, le fondateur de l’entreprise
Vous pouvez tester, vous pouvez faire en gros vous pouvez faire en gros 4 essais gratuit
Un service dédié à la traduction et au doublage : dubbing
Dubbing est un service gratuit proposé par la startup ElevenLab.
Tu peux lui soumettre une vidéo présente sur Youtube, TikTok ou n’importe quelle source en ligne. Dubbing est capable de te la traduire à la volée en 29 langues différentes. Il synthétise l’atonalité des voix pour en proposer une imitation dans la langue de ton choix.
J’ai essayé et c’est bluffant. Même si il m’a traduit en anglais avec un drôle d’accent russe. On se croirait dans un vieux James Bond.
—
Pour les créateurs de contenu, c’est l’opportunité d’internationaliser leurs audiences
Mister Beats avait carrément créé des dizaines de chaines annexes traduites en 13 langues différentes : français, allemand ou espagnol.
Avec l’arrivée de Aloud, MisterBeast explique pourquoi il arrête cette chaine française : https://www.youtube.com/watch?v=_7_lqLS1vMU
—
Squeezie propose déjà tout son contenu en doublage anglais.
—
Nozman qui est un Youtubeur français spécialisé dans la vulgéristaion scienti-fique, s’est lancé sur TikTok en… japonais.
Ses vidéos cartonnent de ouf et dépassent pour certaines le million de vues.
—
Pour tous ces vidéastes qui s’exportent, l’objectif est double : «conquérir de nouveaux marchés en faisant tomber la barrière de la langue et améliorer le référencement à l’international »
Si auparavant , les sous-titres suffisaient à mettre en avant les contenus à l’international, les algorithmes de recommandations de YouTube analysent désormais la langue parlée dans la vidéo. Le doublage permet de mieux remonter dans les recommandations de YouTube.
—
Le risque du Deepfake
Certaines de ces technologies pourraient être utilisées par des mauvaises personnes ou organisations, par exemple pour créer des deepfakes
Retrouvez toutes les notes de l’épisode sur www.lesuperdaily.com !
. . .
Le Super Daily est le podcast quotidien sur les réseaux sociaux. Il est fabriqué avec une pluie d’amour par les équipes de Supernatifs. Nous sommes une agence social media basée à Lyon : https://supernatifs.com. Ensemble, nous aidons les entreprises à créer des relations durables et rentables avec leurs audiences. Ensemble, nous inventons, produisons et diffusons des contenus qui engagent vos collaborateurs, vos prospects et vos consommateurs.
