Isso deve ser um problema da sua placa de vídeo, possivelmente ela não suporta direito o DX, e trabalha melhor com o OpenGL. Nesse caso, você pode tentar atualizar os drivers da sua placa de vídeo e ver se melhora (isso pode ser feito no Windows Update ou no site do fabricante de sua placa).
Em todo caso, talvez nem é preciso você tentar fazer isso, já que o Tibia oferece várias opções de gráficos justamente para o caso de alguma falhar e então ser possível usar outra. O jogo em si não mudará em nada independente do que você escolher, só a qualidade dos gráficos é que pode mudar.
Abraços,
Magnus Hotblood