Alguien ya trabajo con multiples modelos locales para clonar voz?

Estuve jugando un poco con omnivoice y granite localmente pero me falta definir para que y se me ocurrio (seguro ya estan laburando y capas ya hecho en empresas gigantes) clonar las voces de los actores y pasarla al otro idioma, en ves de tener otro humano con otra voz distinta como es el standard hoy, grabar a cada actor en un canal distinto, clonarla, pasar su texto via subtitulos y tener la voz del actor en otro idioma

Naturalmente lo complicado tambien es lo largo que puede ser una frase en distintos idiomas, en una charla entre 2 actores y como se sincroniza con la imagen (con los labios)

Por ejemplo despues de unos cuantos tweaks en el modelo (omnivoice) puedo clonar mi propia voz al 90%, velocidades, pausas, saltos foneticos estan muy bien, me imagino si tengo las voces de 10 personajes hago la misma tarea para cada uno, creando un perfil para cada uno y granite es el que anda bien para charlas 1 a 1 o 2 a 2 entre personajes

Alguno tiene experiencia con estos modelos? especialmente usando una pipeline larga usando 4 o 5 modelos en cascada? estoy medio mareado donde deberia atacar primero?