Configurações da VM -> Monitor -> Tela
Habilite a aceleração 3D na checkbox e bote memória de vídeo conforme necessário.

Adições para convidados no Windows funciona como um CD de driver basicamente. Na VM aberta deve ter um menu pra isso na parte de devices, se não me engano.

De qualquer forma, a não ser que você esteja preso em um Mac, não há muito motivo pra jogar Tibia em uma VM. Existe cliente nativo pra Linux e até o flash client eu não vejo como pode ter desempenho pior que um Windows 7 rodando em 1 GB de ram