Aqui eu uso o Camtasia Studio 7, a qualidade do vídeo fica excelente, porém, como só grava em .avi, eles ficam bem pesados. Mas nada que a edição depois não resolva.
Você pode tentar outros clássicos como o Fraps (o GrYllO usa) e o Hypercam.