山丹县地处祁连山与龙首山之间，南北高山对峙，中间低缓开阔，东西贯通，呈走廊形。在地质内外力共同作用下，形成高山、丘陵、平川区，波状起伏，地形较为复杂多样。最高祁连山冷龙岭海拔4444米，最低东乐乡西屯沙河海拔1549米。县城所在地海拔1756米，相对高差2895米，平均高度海拔2500米。高度差别大，因此气候、植被分布各不相同。县境南与东南有祁连山、大黄山北坡冲积扇、冲积平川，大黄山南坡冲积平原与祁连山北坡冲积平原会合，形成马营大草滩平原。北有龙首山南坡冲积扇，共同会合于县城、山丹河附近，地势东南高、西北低，成倾斜状，中为槽形平原地带。

高山

祁连山 位于青藏高原北部边缘，南距县城90多公里，冷龙岭为甘肃、青海两省分界岭。由一系列西北、东南东向平行山岭和山间沟谷组成，基岩裸露，沟壑窄狭。4000米以上山峰有现代冰川分布，是全县天然高山水库；北坡山间谷地年降水在400毫米左右，阴坡有大片森林，山麓以北有广阔草原。夏季山溪汇聚，穿山而出，马营、霍城两河发源于此。

大黄山 距县城40公里，古名焉支山或胭脂山。山体呈东西走向，绵亘于祁连山和龙首山之间，矗立于县境东南。形成浑圆平坦山地，西北坡较平缓，四周多山前冲积扇。海拔2919米，主峰毛帽山海拔3978米，南北宽20公里，东西长34公里，总面积680平方公里。水草丰美，自古为天然优良牧场，是境内主要水源涵养林地。地势险要，异峰突起，为古今军事要地。

龙首山 位于县城北15公里处，海拔2000—2800米，主峰3528米。山势陡峻，中度刻切，深度一般500—700米，东西高、中间低，呈马鞍形。山坡坡度20—30度，南坡陡，北坡缓，因气候条件影响，垂直地貌分布带较明显，海拔3000米左右的地带植被较好，有小面积云杉和灌木林，随着海拔高度点的降低，山前呈半荒漠化地貌景观。由于相对高度大，横断北部风沙南侵，拱卫山前绿洲农田。又以南坡热力反射，提高积温，有利于山前农作物生长发育。

低山丘陵和波状丘陵

低山丘陵 主要指暸高山和独峰顶山以南的长沟山、乃家山、金山子、柴胡山、红山、黑山子、侯家山、楼儿山、峡子山等低山丘陵。海拔一般1800—2000米，刻切深度100—200米，山坡坡度15—25度，谷坡较陡峻。谷底大多覆盖1—2米厚的第四系松散砂碎（砾）石，在干旱气候影响下剥蚀作用强烈，呈荒漠化景观。

波状丘陵 主要分布在龙首山北麓和四坝滩以东的红石泉、白水泉一带。海拔1500—2000米，最高达2283米；刻切深度50—100米，最大150米，波状起伏。地形高处覆盖0.5—5米的黄土，其他均为砂碎石、砂砾石，降水多的年份一年生草本植被较茂盛。

走廊平原

主要由山前洪积倾斜平原和冲积平原构成，分布在县境内大山前。组成物质为砂砾石和黄土状冲积物，呈半荒漠景观，有部分耕地。

冲积平原 位于龙首山与大黄山之间，四周为低山丘陵环抱，故又称“山丹盆地”。包括清泉镇全部和东乐、位奇、陈户乡部分地区，为县内主要农业区之一。海拔1556—1950米，自东南向西北倾斜，平均坡降1％，地形较平坦。水系流向与平原展布方向一致，河谷宽阔，刻切深度2—3米，地表覆盖着1—3米亚砂土，土质肥沃，是发展农业生产的优势地带。

冲积倾斜平原 分布在祁连山北麓、龙首山南麓和大黄山南北两侧。从南至北有大马营滩、黄草滩、于定滩、花草滩、青阳口滩和绣花庙滩等。海拔2400—3200米，向西北倾斜，地势较平坦，土层较厚，植被较好，宜于发展畜牧业。石岗墩滩和山羊堡滩海拔1600—1800米，属砾石戈壁平原，植被稀疏。

龙首山北麓的红寺湖倾斜平原，位于县城北15公里处，北以趄坡山与内蒙古阿拉善右旗交界，东起坡拉麻顶、黑山山麓，西至芦泉井，为巴丹吉林沙漠边缘，海拔1920—2300米，四面环山，地势由西南向东北倾斜，平均坡降4％—5％。由于强度的风水侵蚀，地表多沟谷，覆盖0.5—1米黄土状土层，下部为砂碎石或沙砾岩，大多土层中含盐。植被为少量灌木、半灌木组成的荒漠景观。