C'est à cause de la pression atmosphérique.
Plus on est en hauteur, plus la pression est faible, ce qui va produire une dilatation de l'air et ainsi lui faire perdre de la chaleur.
L'air perd environ 1° Celsius chaque fois que vous gravissez 100 mètres.
Vous allez me dire que pourtant on se rapproche du soleil !
C'est vrai, mais la distance entre la terre et le soleil est en moyenne de 149 597 870 Km (La terre forme en réalité une ellipse autour du soleil).
Donc, même si vous montez sur le mont Everest qui culmine à 8 849 mètres, la différence est totalement négligeable.