Hay que entender las limitaciones del recorte, cuando tenes que hacer un recorte por luma, como dice martin, ideal es el alpha, pero no lo tenes, asi que ajusta tu compo para que recorte lo mejor posible. Hice la prueba que propusiste y...
a medida que aumentaba el tamaño del texto, por ej, arial 80 size en color blanco o amarillo, o rojo claro, la compuse con un fondo negro y recorte la compo con luma key, aumentando el threshold llega un momento que el recorte queda limpio. osea evita los bordes finos y cuanto mas claros sean tus colores mejor el recorte.
Tal vez esto tampoco te sirva porque tu compo ya es de una manera que no podes cambiar.
Entonces podes intentar lo siguiente. Esto me lo explicaron pero nunca lo hice, con los levels siempre safe. seria asi:
Haces el render pero en lugar de fondo negro le pones fondo verde, vas a una isla de edicion analogica, recortas el verde y le generas un negro que este por debajo (si es posible del 0db, eso lo haces con el tbc). En teoria, el negro de fondo tendria un nivel menor del que sale de manera digital.
Otra cosa, yo probaria, recortarlo con un switcher, ya que no es lo mismo recortarlo de manera digital que analogica.
Espero soluciones tu problema y comentanos si le encontras la vuelta.
Suerte.
