Sim, da muito problema.

Basicamente, pra resumir a história toda, você tem um hormônio chamado Melatonina que é relacionado forte e quase unicamente com o sono. Mudar os horários todo dia desregula a secreção desse hormônio -o que mexe em todo seu metabolismo, sua personalidade e principalmente nas demais funções do seu cérebro- e também desregula o "relógio natural do corpo" (núcleo Supraquiasmático do Hipotálamo).

Sono é coisa séria, mas não parece tão sério assim porque os efeitos dele são sentidos a longo prazo. Se você ir dormir umas duas ou três noites seguidas lá pelas quatro, cinco e até seis da manhã, não tem problema. O máximo que vai acontecer é você ficar com sono no dia seguinte... Agora, coisas que não fazem bem é ficar mudando o horário dos sonos, dormir menos de oito horas por vários dias seguidos e dormir com luz ligada. Bom lembrar que a luz do dia é importante também quando você está acordado.