明时设山丹卫学1所，清代设书院1所。两代科举取士，共考中进士1人，文举、12人，武举33人，贡生219人，生员（秀才）为数尤多。民国初，设高等小学堂1所。40年代，全县有初级中学1所，中心国民学校（完全小学）8所，保国民学校（初小）49所。至1949年秋。全县仅有大学毕业生2名，高中及中专毕业生60余人，在校初中学生70人，小学生2000余人。
中华人民共和国成立后，人民政府重视教育事业。1988年，有完全中学3所，初级中学2所，农业中学2所，附设初中班级的小学13所（即八年制学校），完全小学95所，村学33所，幼儿园2所。中小学教职工1373人，在校学生高中1560人，初中7197人，小学1.4844万人。中等专业学校有省办培黎农林牧学校和县教师进修学校。自1961年至1988年，考入大专院校者共652人，1977至1988年考入中等专业学校者939人。
一、卫学与书院
明正统五年（1440年），都指挥杨斌于城东南隅建山丹卫学。十三年，都御史马昂重建。成化四年（1468年）和弘治十五年（1502年），都御史徐廷璋和刘璋曾先后修缮。
清乾隆二年（1737年），知县祁安期于县署之东建山丹书院（在今东街），十六年，知县李复发维修扩建，易名仙堤书院。五十七年，知县明福于文庙东侧（今胜利街北）建新校舍，改称龙峰书院。道光二年（1822年），知县颜廷彦于县城东南隅购地建房60余间，移书院于此，仍名仙堤书院。明清书院，是童生应生员（秀才）考试前的进修之所，学制不详。光绪三十一年（1905年），书院更名为高等小学堂，改造房舍，设讲堂、礼堂及图书室等，有学生30余人，延请师范生任教。
二、小学
学校 民国元年（1912年），改高等小学堂为高等小学校。11年，在今民乐洪水镇（时为山丹县辖区，1929年划归东乐县）设第二高等小学校。22年，在芦堡设第二高等小学校。27年，骑五军军长马步青在县城设青云小学（37年改为中正小学，校址在今胜利街北）。28年，设山丹县女子小学（在今胜利街北）。29年，各乡捐款建立学校，新设富源乡中心学校（在祁家店），封云乡中心学校（在新河），维新乡中心学校（在花寨子），复兴乡中心学校（在黑城）。原第一、第二高等小学校改名为龙峰镇中心学校、仙堤乡中心学校。至1949年，全县共有完全小学8所。
初等小学校源于清代义学。道光七年（1827年），知县黄璟捐俸于文昌宫（今胜利街）设义学1所。影响所及，全县在城内东街、西关观音堂和峡口、永固、姚家约（以上两地在今民乐县）、马寨、新河（2所）设义学共11所。光绪三十二年（1906年），将原义学改为蒙养学堂。次年，知县方景周添设蒙养学堂4所。八月，均改称初等小学堂。民国初年，因兵燹灾荒，多停办，农村幼童入私塾就读。29年（1940年），各乡多以庙产为校址，设立初级小学。34年，改中心学校为中心国民学校，初级小学为保国民学校，至1949年，全县共有保国民学校49所，其中龙峰镇有东街、东关、西关、碗窑沟、城北村5所，富源乡有北湾、十号、七坝、南湾、西二十里铺、大桥寨6所，仙堤乡有位宽、刘伏、孙家营、马寨、山湾、东二十里铺、刘英、高寨、十里铺、位奇、汪家村11所，封云乡有甘泉、峡口、老军、焦家湾、寺沟口、范家营、寺沟河、王城、徐家盘山、周家坑、陈户村11所，维新乡有大马营、圈沟、夹河、上寨、下寨、土坡头、高家湖、新开、高庙、吴宁村10所，复兴乡有杜家庄、西坡、双峰、白家、西山、河湾村6所。此外，有村学27所。
1949年10月，原各乡（镇）中心国民学校改称某区或某地小学，保国民学校改称某村初级小学。1952年土地改革后，农民生活改善，小学学生增至8125名，初级小学由原来的49所，增为60所。
1953年1月，政务院提出“整顿巩固、重点发展、提高质量，稳步前进”的文教工作方针，全县核实学校基数（班级、学生、教师、设备、校舍等），调整学校布局。或增设学校，或合校并班。经核实适龄儿童实为7093名，而在校学生为8766名，超龄者或上民校，或留原校学习。1953年，成立南关小学，大马营、陈户两所初小升格为完小。1954年秋，合并生源过少的学校，一区的祁店、南湾、吕祖庙3所初小合并成立清泉小学，二区的沙河湾、徐家盘山、下焦家湾3所初小并入新河、陈户、上焦家湾学校，三区的石沟河初小并入新开学校，四区的土坡头初小并入寺沟初小，五区的杜庄、王家庄、上河西寨、东山、西沟初小分别并入霍城、西坡、下河西寨、盛沟、周庄学校，六区的北口窑初小并入二十里铺初小。一些学生过少的中、高年级，也与邻近学校合并。将十里铺、二十里铺、三十里铺、大黄山、周家坑、横沟沿、盛家沟和下寨8所初小交民办。
1958年秋，西坡、双湖、河湾、石泉、二马营、夹河、寺沟、高庙、范营、崖头、上寨、老军、刘庄、暖泉、马寨、位奇、新开、高寨、南湖（原名碗窑沟）、静安、五墩、大桥、西屯、红寺湖等初小均增设高小班，改为完全小学。加上原有的10所，共34所。70年代，一部分初小升格为完全小学。至1988年，全县完全小学共95所，村学33所，在校学生1.4844万人。南关小学于1978年被列为省重点小学。1988年，东街小学有教学班31个，学生1677名，教职工76人；南关小学有教学班23个，学生944名，教职工46人。
1987年，东街、南关、南湖、霍城西关小学各设学前班1个，对学龄前儿童实施早期教育。
1958年，各人民公社、大队曾设幼儿园，1960年，生活困难时期陆续停办。
1958年，县幼儿园成立，1976年迁至北街。1985年，清泉乡于双桥村设幼儿园一处。1988年，全县有幼儿教师、保育员9人。
学制与课程 高等小学堂初为“三三制”，春季始业。入学新生多在私塾学习数年后，视个人学力插班就读。课程有修身、讲经读经、中国文字、外语、中外历史、地理、算学、博物、图画、体操等。但因师资与教材等原因，仍以修身、国文（讲读经史古文）、算学为主。民国24年（1935年）后，小学改为“四二制”（初小四年、高小二年），课程门类，日渐完备。29年，小学改为秋季始业，当时中华书局、世界书局发行的小学教材，在山丹普及。小学全部开设国语、算术、公民、历史、地理、自然及音乐、图画、劳作等，课程设置趋于正规。
1949年，小学实行“四二制”，1952年秋，东街小学试行“五年一贯制”，次年取消。1953年，确定东街小学、芦堡小学为重点学校，进行一、三年级和二、四年级复式教学试验。次年，在东街小学推行“五级计分法”，取得经验，推广各校。1969年，所有小学改为五年制，将秋季始业改为春季始业。1978年，均恢复秋季始业。东街、南关改为六年制小学。
课程设置经历了几个阶段。1949年秋，取消公民课。1950年，按照西北军政委员会教育部颁布的“小学教学科目及每周教学时间表”设置课程，如下表：
1978年1月，教育部颁发《全日制十年制中小学教学计划试行草案》，规定：小学学制五年，设八门课程，并对各年级政治课和文化课时间，学工、学农、学军等“兼学”时间作了规定，南关、东街小学于1981年先后设置英语课，于1984年取消，
1981年，改政治课为思想品德课，每周1节；分自然常识课为自然（三年级开设）、地理（四年级开设）、历史（五年级开设）。次年，设劳动课1节。
三、中学
学校 民国17年（1928年），曾于文庙设初级中学1所，半年因战乱停办。33年（1944年）利用北街元帝庙，地藏寺、药王宫、北斗宫等庙产建山丹县立初级中学，当年招生30余名。1948年秋，全校教职工12人，三个年级共有学生103人。1949年减至70余人。
1949年10月，县人民政府接收山丹县立初级中学，改称山丹县初级中学。1957年，筹建花寨中学，次年秋招收新生。1958年，东乐、陈户、霍城小学附设初中班，11月，将上述初中班合并于位奇，成立位奇中学。1958年12月，山丹、民乐两县合并，次年，改山丹中学为山丹县第一中学，民乐中学为第二中学，新添中学（在今民乐县）为第三中学，位奇中学为第四中学，花寨中学为第五中学，三堡中学（在今民乐县）为第六中学。1961年秋，四中、五中停办。1962年1月，山丹、民乐分设，山丹县只有山丹中学1所。1963年，恢复花寨中学。1964年，在位奇设农业中学，后改称红专学校。70年代，提出“队队有初中、社社有高中”，东乐公社的西屯、五墩、静安，清泉公社的双桥、郇庄、祁家店，位奇公社的新开、芦堡、朱湾、高寨，陈户公社的新河、孙营，老军公社的刘庄，李桥公社的高庙、上寨，马营公社的双泉、二马营，花寨公社的新泉、中河，霍城公社的双湖、西坡和红寺湖共22所完校附设初中。东乐、位奇、陈户、花寨、老军、霍城、马营、河湾等8所小学增设初高中班，改称中学。1975年，成立清泉中学。至此，全县有10所完全中学。学校发展过快，以致初、高中教师不足，层层升格使用，加之“读书无用”、“知识贬值”等思潮的影响，教育教学质量下降。
1981年5月，教育部提出充实加强小学，整顿提高初中，压缩普通高中，发展职业技术教育，集中力量办好重点学校的调整整顿方针。秋，裁并西屯、红寺湖、新开、朱湾、崖头、暖泉、刘庄、高庙、上寨、新泉、中河、双泉、二马营等13所学校的初中班。将霍城、马营中学的高中部并入花寨中学，东乐中学的高中部并入山丹中学，老军、位奇中学的高中部并入陈户中学。后改山丹中学为第一中学，清泉中学为第二中学，花寨中学为第三中学。
1982年，改陈户中学为陈户农业中学，1985年，改霍城中学为霍城农业中学（初中）。至此，中学布局，大致合理。
山丹一中 为县重点中学。50年代初，由省教育厅任免人事，拨付经费。1958年秋为县办中学，设高中部。师资、生源素质较好，教育教学质量明显提高。“文化大革命”中，首当其冲，为“重灾区”之一，46名教职工中，14人被揪斗，校规校纪，荡然无存，70年代初，日趋正规。1985年，教学大楼落成。1988年，有教学班34个，学生1771名（其中高中学生702人），教职工121人。
山丹二中 因在城区，办学条件较好，发展较快。1988年，有教学班23个，学生1252名（高中491名），教职工78人。
山丹三中 生源来自花寨、马营、李桥、霍城诸乡。1988年，有教学班15个，学生668名（高中249名），教职工51人。
陈户农中 初中部为普通中学，高中部为农业中学。因办学意向尚未为群众所理解，改制后一直生源不足且流失严重。1988年，高中部有教学班3个（高一两个班），学生118名，教职工18人。
学制与课程 1944年，山丹初中为三年制，1958年设三年制高中部。1969年，初、高中改为二年制，改秋季始业为春季始业，废除考试、留级等制度，采取推荐与选拔相结合的办法招生。1980年，初中改为三年制。1982年，一中高中部改为三年制，二中、三中、陈户农中高中部仍为二年制。
1944年山丹县立初级中学设置课程如下表：
1949年，取消民国时期设置的公民、军训、英语等课程，按照西北军政委员会教育部颁发的初中教学科目及每周教学时间表设置课程：
1956年，语文课分汉语、文学，地理课分自然地理、中国地理、世界地理，历史分中国历史与世界历史。1958年，山丹中学增设俄语。1969年，中学只开设政治、语文、数学、工业基础知识、农业基础知识、革命文艺、军事体育等课。1973年，增设物理、化学、历史、地理、卫生常识，取消工业基础知识。
1978年1月，教育部颁发《全日制十年制中小学教学计划试行草案》，外语改授英语，恢复考试与升留级制度，课程设置如下表：
注：学工、学农等“兼学"时间初中每年6周，高中每年8周。
1979年后，为组织高考复习，各中学高二年级分文、理科，文科精减理化，理科精减史地。
四、中等专业学校
清光绪末年，曾开办师范传习所。民国10年（1921年）成立山丹师范学校。13年，设师范自治讲习所，均经一年即停办。
1958年秋，于位奇村设农业大学，年底改为农业中学。1959年春迁入县城北街，次年迁往城北，当年停办。1958年秋，在县城南关开办工业大学，年底改为工业中学，1960年改为拖拉机修配站。1958年秋，在县城南街设卫生学校，不久停办。1959年，在县城北开办山丹师范学校，1960年并入张掖师范。上述4校均招收小学毕业生。
1977年，在十里铺之北建红专学校，培训农业技术人才。次年，改为张掖师范山丹分校。1981年，学生并入张掖师范，学校改称山丹县教师进修学校，吸收师范毕业生培训初中英语、语文教师。1986年迁于城北，按照师范学校教学计划培训在职小学教师，学制2年。