山丹地处祁连山与龙首山之间，南北高山对峙，中间低缓开阔，东西贯通，呈走廊形。在地球内外力共同作用下，形成高山、丘陵、平川区，波状起伏，地形较为复杂多样。最高祁连山冷龙岭海拔4444米，最低东乐乡西屯沙河1549米。县城所在地1756米，相对高差2895米，平均高度海拔2500米。高度差别大，因之气候、植被分布各不相同。

南与东南有祁连山、大黄山北坡冲积扇、冲积平川，北有龙首山南坡冲积扇，共同汇合于县城、山丹河附近。地势东南高，西北低，成倾斜状，中间为槽形的平原地带。

一、高山

1、祁连山 位于青藏高原北部边缘，在县城南90多公里处，冷龙岭为甘肃、青海两省分界岭。由一系列西北、东南东向平行山岭和山间沟谷组成，基岩裸露，沟壑窄狭。4000米以上山峰有现代冰川分布，是我县天然高山水库。

北坡山间谷地年降水在400毫米左右，阴坡有大片森林，山麓以北有广阔草原。夏季山溪汇聚，穿山而出，马营、霍城两河发源于此。

2、大黄山 距县城40公里，古名焉支山或胭脂山。山体呈东西走向，绵亘于祁连山和龙首山之间，矗立于县境东南。形成浑圆平坦山地，西北坡较平缓，四周多山前冲积扇。海拔2919米，主峰毛帽山高3978米。南北宽20公里，东西长34公里，总面积680平方公里。水草丰美，自古为天然优良牧场。是境内主要水源涵养林地。地势险要，异峰突起，为古今军事要地。

3、龙首山 位于县城北15公里处，海拔2000—2800米，主峰3528米。山势陡峻，中度刻切，深度一般500—700米，东西高，中间低，呈马鞍形。山坡坡度20—30度，南坡陡，北坡缓，因气候条件影响，垂直地貌分布带较明显。海拔3000米左右的地带，植被较好，有小面积云杉和灌木林，随着海拔高度的降低，山前呈半荒漠化地貌景观。由于相对高度大，横断北部风沙再侵，拱卫了山前绿洲农田。又以南坡热力反射，提高积温，有利于山前农作物生长发育。

二、低山丘陵和波状丘陵

1、低山丘陵 主要指瞭高山和独峰顶山以南的长沟山、乃家山、金子山、柴胡山、红山、黑山子、侯家山、楼儿山、峡子山等低山丘陵。海拔一般1800—2000米，刻切深度100—200米，山坡坡度15—25度，谷坡较陡峻。谷底大多覆盖1—2米厚的第四系松散砂碎（砾）石，在干旱气候影响下剥蚀作用强烈，呈荒漠化景观。

2、波状丘陵 主要分布在龙首山北麓和四坝滩以东的红石泉、白水泉一带。海拔1500—2000米，最高达2283米，刻切深度50—100米，最大150米，波状起伏。地形高处覆盖0.5—5米的黄土，其它均为砂碎石、砂砾石，降水多的年份一年生草本植被较茂盛。

三、走廊平原

主要由山前洪积倾斜平原和冲积平原构成，分布在县境内大山前。组成物质为砂砾石和黄土状冲积物，呈半荒漠景观，有部分耕地。

冲积平原 位于龙首山与大黄山之间，四周为低山丘陵环抱，故又称山丹盆地。包括清泉乡全部和东乐、位奇、陈户乡部分地区，为我县主要农业区之一。海拔1556—1950米，自东南向西北倾斜，平均坡降1％，地形较平坦。水系流向与平原展布方向一致，河谷宽阔，刻切深度2—3米，地表覆盖着1—3米亚沙土，土质肥沃，是发展农业生产的优势地带。

冲积倾斜平原 分布在祁连山北麓，龙首山南麓和大黄山南北两侧。从南至北有大马营滩、黄草滩、于定滩、花草滩、青羊口滩和绣花庙滩等。海拔2400—3200米，向西北倾斜，地势较平坦，土层较厚，植被较好，宜于发展畜牧业。石岗墩滩和山羊堡滩海拔1600—1800米，属砾石戈壁平原，植被稀疏。

龙首山北麓的红寺湖倾斜平原，位于县城北15公里处，北以趄坡山与内蒙古阿拉善右旗交界，东起坡拉麻顶、黑山山麓，西至芦泉井，为巴丹吉林大沙漠边缘，海拔1920—2300米，四面环山，地势由西南向东北倾斜，平均坡降4—5％。由于强度的风、水侵蚀，地表多沟谷，覆盖0.5—1米黄土状土，下部为砂碎石或砂砾岩，大多土层中含盐。植被为小量灌木、半灌木组成的荒漠景观。