一九三一年“九·一八”事变后，冯玉祥应孔祥熙等人之邀，抱着“精诚团结，共赴国难”的心愿，前往南京。不料，事与愿违，蒋介石却坚持“攘外必先安内”的反动政策，并进行反共内战。冯因为自己的抗日主张不能实现，又不愿与蒋同流合污，于是，他以养病为由，于一九三二年三月转赴泰山隐居。
冯到泰山后，驻在普照寺内。他虽隐居，但念念不忘抗日，为了让大家不忘国耻，他在五贤祠外洗心亭石梁上，亲笔书写着东北三省的人口和土地面积，上面还写着几个醒目的大字：“你忘了没有，东三省被日本人占了去，有硬骨头的人应当去拚命夺回来。”
百丈崖下，有一处经过数千年流水冲洗，平坦如镜的青石地面，冯亲笔书写《墨子（非攻篇）》隶体大字，雇请石工刻镌在这方天然的地面上，以借古喻今。
冯对抗日将领马占山、蒋光鼐、蔡廷锴，廉洁奉公的王铁珊，东北义勇军后援会主持人朱庆澜等备极崇敬。在关帝庙内设他们的生位，虽不是晨昏三叩首，早晚一炉香，但每至生位之前，必脱帽致敬。而对汪精卫却不肖其为人。当冯初到泰山时，汪以冯生活清苦，馈赠大洋万元，冯拒而不受，并复汪一函，略谓：“当此民生凋敝之际，实不忍心使用百姓的血汗钱！”
使汪极为难堪。
冯对无辜受害者，极力进行营救。范明枢先生是山东著名教育家，且具有爱国思想，被国民党当局以“共产党嫌疑”罪名，加以逮捕，解往济南。冯与范虽然素不识面，但敬佩其为人。当即致函国民党山东省政府主席韩复榘：“在你治理下的山东省，七十岁的老人，当作共产党下狱治罪，那还了得，快放出来！”韩原属冯之旧部，还未忘冯旧日提携大恩。韩接冯函，即将范明枢释放。从此，范与冯成为知己之交，为冯讲授经史诸书。
日本帝国主义侵占我东北三省后，蒋介石违背了全国人民的意志，抱定其不抵抗政策，在他的《告全国军民书》中说：“东北事件，已诉诸国联，以待公理之解决，……”。国际联盟这个帝国主义组织，为了达到列强共管中国的目的，派出以李顿为首的“国联调查团”，调查所谓“中日事件”。当调查团来到中国后，南京政府奴颜婢膝，极尽献媚之能事。为调查团特备“特别花车”，到处游览名胜。李顿等到达泰安，即调用二百多顶山轿把这群脑满肠肥的家伙抬上山顶，在山顶吃了野餐，游览了古代建筑。下山回到车站后，李顿却说他的手杖丢失了，要顾维钧（南京政府外交部长）给他找回，并说手杖是他妻子送的纪念品，上面镶有大颗宝石和他妻子的像片。顾则要泰安县长周百锽寻找，周即找轿夫追问，都说没有看到。于是顾把两个六、七十岁的轿夫头关押起来，追查手杖下落。冯闻讯后，立即把周百锽找来，问他：“李顿他们雇轿之前，是不是说明了替他们看东西呢？抬轿子多少价钱，看东西又是多少价钱，若是没有说清楚，李顿丢了东西，为什么找抬轿子的？
由于冯的营救，轿夫被释放。那根手杖于两天之后在山顶干牛粪堆里找到了。原来是李顿自己插在那里，忘记取回。如果不是冯的营救，那些无辜的轿夫就不堪设想了。
冯除忧心国事外，对贫苦农民的生活，亦极关怀。这年的秋天，他看到普照寺附近的劳苦大众，衣服褴褛，难以御寒，为他们每人添制了新棉衣一套，使老少男女皆大欢喜。事后泰山贫民们在百丈崖下“馍馍石”上（这块巨石形状如馒头，当地人称之为馍馍石）刻了“冯玉祥是贫民的慈母”字样，以作纪念。
在“九·一八”事变后的一年多的时间里，日本侵略者的魔掌攫取了东北三省，冯玉祥痛心国事日非，为了实现他的抗日主张，决定离开泰山，前往国防前线的张家口，组织当地西北军旧部奋起抗日。十月八日冯乘专车离泰山。
次年五月二十六日，冯通电就任民众抗日同盟军总司令，宣布抵抗日本侵略者，武装保卫察省，进而收复东北三省失地。六月二十二日，民众抗日同盟军所属察哈尔省民众自卫军第一支队，一举攻克了康保。三十日，收复宝昌，沽源伪军通电反正。七月六日，同盟军进抵多伦，七日开始围攻，经过五昼夜的激烈战斗，克复了多伦。
民众抗日同盟军收复察东失地后，全国人民欢欣鼓舞，而蒋介石却诬冯破坏了既定“国策”，派出十三个师的兵力并联合日、伪军南北夹攻抗日军，迫冯结束察省抗战。冯不得已，于同年八月十七日仍回到泰山，寓居于泰山南麓五贤祠，再度其读书生活。在此期间，冯聘请各科教师，讲授天文、地理、文学、外语、物理、化学、书法、绘画诸课程。另外还请拳师教练武术，并专聘范明枢先生讲授《左传》。冯象小学生一样，按时上课读书，孜孜不倦。
在泰山东路的盘山大道旁，有一座关帝庙，院庭宽大整洁，冯利用庙舍，把察北抗日归来的一批青年军官集中起来，聘请吴组缃、董志诚讲授文学；崔贡琛、王际通、何章海、金典戎讲授战术。以增进他们的文学知识和军事素养。
冯于课余之暇，常到五贤祠东一里多路的山坡树林里，独自坐在大石上，静心阅读。他很喜爱这处幽静的山林，于是商得普照寺和尚同意，在这里辟山凿石，为辛亥革命滦州起义诸先烈建筑祠宇，以纪念他们为创造中华民国而流血牺牲的丰功伟绩。冯亲自督工监造，数月以后，建成殿宇三座。正面殿里，设立滦州起义先烈王金铭、施从云、白雅雨、戴钖九、董钖纯、张振甲、孙谏声、王踽臣、黄云水九人神位。右殿里设北伐战争中被张宗昌杀害的第二集团军第八方面军副总指挥郑金声神位。左边殿里设了因讨伐张作霖而牺牲的郭松龄及夫人韩淑贞神位。并在曹州购来梅花一百多株，植于祠前，题名“梅花岗”。落成的那天，以乌牛、白马、猪、羊四牲祭告亡灵，仪式极为隆重。冯玉祥此举，当时曾引起了普照寺和尚的误解，他们认为冯的思想有所“转变”，不再破除迷信了。于是向冯要求“布施”，要建筑一座财神庙。冯笑对和尚说：“烈士祠和财神庙岂能混为一谈，我建烈士祠是缅怀为创造中华民国而牺牲的先烈，你修财神庙是为了愚惑百姓，我不想求财神保佑我发财，更不能帮助你们欺骗百姓”。说的和尚啼笑皆非。
每年暑期，冯即邀请许多知名教授来山避暑，借此机会请他们讲授专门课题。一九三四年夏，陈豹隐为冯讲《政治经济学》，陶行知的儿子陶宏讲授《天文学》。陶宏年纪虽轻，但学问渊博。讲授天文的时候，真是引人入胜，什么仙后星座呀！
大熊星座呀！在我们这些当小兵的听来，十分新奇。后来，进一步讲到什么是“星等”、“视星等”？陶宏解释说：星等表示星体亮度的等级，亮度越大，等级越小。根据肉眼看到的星体的亮度而定的等级，叫作视星等。这样讲来，使我们更加敬佩这位年轻老师。每天夜晚，陶躺在行军床上，仰面朝天，由我们抬到院外，他指着星罗棋布的星空，对我们大讲其“星体”、“星团”和“星移斗转”。有一晚，陶宏老师正在躺着讲述“流星”的发生，冯先生忽然一声喊：“那是一颗什么星呀？”说完还用手指着南方的一颗明亮发光的星点，陶略加思索，便讲解那颗大亮星的学名和视星等，陶老师讲得津津有味，我们也听得正在入神。哪知那颗大星忽然活动起来，向北渐渐移动，冯先生笑哈哈地说：“是个火车头！”原来陶在开始讲解这颗星星的时候，一台机车正停在大汶口车站上，到这时候，火车已经向泰安开行，所以愈来愈近，看得也就愈加清楚。这一来却识破了陶宏原是一位不求甚解的学者，闹出了这场笑话来。
五贤祠后面有座小山峰，上有一座三阳古观，供奉着王三阳泥塑神像。内有祖孙三代四名道人，老道人姓满，年近七旬，白发白须，但身体健壮。他和五十多岁的徒弟韩老道及青年徒孙二人，除暮鼓晨钟外，祖孙四人天天打柴割草，把柴草挑到山下出售，换钱买粮，过着自食其力的生活。冯极敬佩满老道这种精神，而厌恶那些好吃懒做、依靠剥削佃户的和尚。冯常常爬上这条三百多阶的石级小道来观里和满老道闲谈。有时住宿在观内土炕上，满道人就用煎饼和素菜招待这位客人。冯高兴时，还把关帝庙和普照寺的老师们请上来聚餐。何章海曾即席作诗以志当时的情景。诗云：“先生请吃饭，席设三阳观。
开水泡煎饼，上下两身汗。”
一九三四年夏，冯要去胶东漫游，山东省政府主席韩复榘备专车一列，供冯使用。离泰安前，有记者登车访问，冯以油条招待，记者说：“冯先生的生活，实在太刻苦！”冯笑答：“我小的时候，跟母亲去赶会，哭了半天，才给我买了一根油条，如今能尽量吃够，还不满足吗？”语毕，冯和记者们都大笑起来。
冯在胶东游历了烟台，又登蓬莱阁。在威海卫谒邓世昌祠，瞻仰这位在甲午海战中壮烈殉国的英雄遗容，对邓的爱国行动，极为敬佩。其间，李烈钧亦从青岛前来相晤，每到一地，都受到当地群众的热烈欢迎。在威海的群众大会上，冯讲：“洋鬼子是欺软怕硬的，比如说他要你的帽子，你给了他，他还要你的马褂，你把马褂给了他，他还要你的大褂呢！我们的政府软的象面条儿，日本鬼子怎么不欺侮你呢？”冯和李一时兴起，就作了一副对联。冯出了一句上联：“蓬莱阁中高谈抗日”，李续下联云：“备倭城头纵论保民”相与唱和。
冯从胶东归来后，想到泰山南麓的居民，大都是各寺庙的佃户和依靠抬山轿、拉洋车、砍柴度日的穷苦大众，他们的子弟因为贫苦，入不了学校，读不起书，冯特为这些穷苦孩子们兴办了十四所小学校，免费供他们读书。定名为“武训小学校”，请范明枢、张雪门两先生主持其事。冯自编泰山民歌数首，要求学生每天学唱，用以激励他们发愤学习。记得冯编的几首民歌是：《农夫的儿子》：爸爸扶耧娘前拉，五谷种子才种地下，天气焦旱雨不落，头肿牙疼二老急煞。《洋车夫的弟弟》：大哥拉车满街跑，终日劳苦洋三毛。拉车一天几身汗，我得读书怎敢辞劳。《轿夫的儿子》：爸爸抬轿上泰山，终日劳苦牛马一般。来回百里三角钱，我得读书怎敢偷闲。《柴夫的儿子》：爸爸上山去砍柴，从早到晚方才回来，百斤柴草百里路，我得读书怎敢发呆。
这群孩子除努力读书外，还兼学石工。冯从青岛聘来一位技师，教学生们用泰山石头磨制各种印章，拿到车站向旅客们出售，其收入作为学校基金。又请来木工教学生制作各种木器，想让学生们各有一技之长。一九三七年七月七日，芦沟桥事变发生。十二月，抗日战火燃烧到泰山脚下，这群穷苦子弟，虽没有长大成年，但都纷纷投入抗日战争的行列中去了。
当冯从察哈尔省被迫回泰山后不久，冯夫人李德全亦从北平携带着子女三人前来。冯夫人布衣布裙，操持家务，亲为冯及子女洗衣做饭，并在五贤祠院外种植蔬菜，宛如农家一主妇。说起冯夫人李德全和冯玉祥的结合，又有一件奇闻。一九二三年秋，冯的原配夫人刘德淑因病逝世，曹锟曾想招冯为婿，因为冯的生活过分刻苦而作罢。这时候，有些抱有独身主义的北京姑娘，却放弃了永不嫁人的主张，想成为陆军检阅使夫人。冯选择配偶的方法，很为特殊，他采取当面考试的办法以定成否。他和她们谈话时，首先问对方：“你为什么和我结婚？”这句问话，看似容易，但答来却很困难，许多姑娘羞涩地回答说：因为你的官儿大，和你结婚，就是官太太”。或是说：“你是英雄，我爱慕英雄”。这样的回答，冯都摇头，以表示不可！但当马伯援介绍李德全和冯见面时，冯问李为什么要和他结婚时，李爽直地说：“上帝怕你办坏事，派我来监督你！”冯对这一回答，频频点头，认为这个女子不凡，随即奠定了两人结婚的基础。
泰山南麓的琅琅读书声，却从未减去南京政府对这一山谷的注视，经常派遣蓝衣社特务前来监视和捣乱。但冯也派人去泰安车站，时刻注意南来旅客中的可疑分子，及时的通知山上。冯之寓所附近各庙里驻有第三路军手枪营，警戒严密，特务们只能扮作“朝天进香”的善男信女，或旅游客人，而无法进入警戒线内。可是他们为了向主子邀功，便虚造情报。一九三四年秋，国民党中央通讯社发布了冯玉祥遇刺消息云：“泰安消息：‘隐居泰山之中委冯玉祥在下山陪送友人去车站时，突然遇刺，卫士还击，伤亡数人’”。特务们为了请赏，捏造了这一情报，引起中外人士的纷纷议论。冯的各地的朋友十分关注，电信不断飞来，询问真情实况。而冯在这时候，却正兴致勃勃地悠游于山水之间。就在这个时候，他到了历山山脉的灵岩寺。从泰山去灵岩，必须沿着山脚下的乡村小路行走，那一天走到中途，天色已晚，冯和他的随从人员就借宿在一个山村外的“九天仙女庙”里，殿中有九个女神泥塑神像，栩栩如生。冯卧在行军床上，笑对左右说：“咱们真够阔气，有九个仙女相陪”。引的大家哄然大笑起来，消失了旅途中的劳顿。次日上午，到达灵岩寺，寺僧数十人身披袈裟在山门外合十相迎，冯拱手还礼。主持僧陪冯到客堂叙话，又到庙内参观。这座庙建筑极为宏壮，古柏参天，还有一些名人手迹，其中苏东坡的一首石刻诗词，尤为名贵。冯回到客堂，就同僧人大谈破除迷信，他说：“你们出家人有很多青年男女，不事生产，整天念经拜佛，以致身体衰弱，精神萎靡。如果把这些时间，用在研究科学上，定会做出很多有益于国家的事来。”
在这里一连住了七天，流连山林，大有乐不思返的意思。而各地的故旧们正在关怀他的安全与否，函电纷至沓来，询问真象。经冯夫人亲自劝驾，冯始返归泰山。《大公报》驻泰安记者毛国翘特拍摄了一帧冯与满老道的合影刊出，作为辟谣的有力证据。
冯在这国难当前，民族危急的关头，他想的不是老死林下，而是“老骥伏枥，志在千里”，时刻为抗日救国而努力。他常和老友邱岘章、吴古月、邓鉴三等站在五贤祠院外，俯瞰远眺，对邱等叹息说：“锦绣河山，如此壮丽，而人民却处在饥寒交迫之中，东北同胞呻吟在日寇铁蹄践踏之下，我们当执戈杀敌，救斯民于水深火热之中，方不愧对生我的父母，才是中华民族的好男儿。”随即吟诗云：“日本人，欺我国，四省土地被侵夺。三千万同胞过着奴隶生活，眼泪汪汪望着你和我。我们应当如何？……”
冯为实现反蒋抗日的目的，在三阳关庙内，设有私人电台，和各方反蒋势力联系。并派张锋伯、熊梦宾为代表，往来两广，与李济深、李宗仁、白崇禧、胡汉民联络，策划反蒋。福建人民政府成立时，冯被任为经济委员会主席（余心清代）。又有陕西名流刘治洲为冯奔走于杨虎城、邓宝珊两处；四川名流高新亚为冯奔走于刘湘、邓钖候、刘文辉三处。各方也派有代表驻在冯处，中共的代表王梓木常驻泰山。冯还组织了他自己的政治组织“民众抗日同盟会”，他说：“没有抗日同盟会，就不能产生抗日同盟军”。随冯在泰山的部属多已参加这个组织。但是入会仪式却如同封建道会一样，宣誓室内烧着两支明烛大蜡，放着一束黄表纸，案上缚着一只公鸡，墙壁上挂着一纸誓词。宣誓人在熊熊的烛光和烧纸的火焰中，高举左手读誓词：“我某某，献身同盟，内除国奸，外抗强权，如有违犯，愿受法典！”读完誓词右手举刀将鸡头砍落，这就完成了入会仪式。这一组织在外地也有所发展，我亲自看到过冯的旧部从外地来信向他报告发展情况。不久，冯就觉察到这一组织是不能发生很大的政治效力的，他曾向人说：“现在是红白相争，只有红的才能压倒白的，粉红色的是没有力量的”。基于这种思想的发生，他就不再热心发展这个组织了。冯对自己的旧日部将宋哲元、韩复榘、孙连仲三个实力派人物，则努力推动他们走向抗日的道路。冯曾告人说：“我是个火车头，非把宋、韩拉上抗日反蒋的轨道上不可！”而宋、韩二人，却时刻在为扩大自己的势力，巩固自己的地盘作打算，置国家、民族存亡于不顾，对冯抱着敬而远之的态度，除每月送些生活费用，以示不忘旧日提携的恩情外，在政治主张方面，都与冯背道而驰。至于孙连仲，据冯的秘书张锋伯告我：“孙连仲这个人，个子很大，胆子很小，我代表冯先生去看他，他很害怕，我问他为什么这样胆小？他说‘蓝衣社很厉害’！看起来没有多大出息。”
冯玉祥赞成共产党的抗日主张。他对被捕的中共地下组织人员和受迫害的进步青年，做了些力所能及的营救和掩护工作。蒋介石的南昌行营秘书刘思慕，不满意蒋介石策划的反动内战，于一九三四年秋，秘密地把蒋军对中国工农红军的“围剿”计划送给了红军。蒋发觉后，刘即逃往济南友人江医生家，特务跟踪追到济南。江医生顾虑自己无能掩护，亲自跑到泰山，请冯把刘留下，冯慨然应允。江医生陪同刘思慕到泰山，返回济南后，特务就把江医生逮捕，严刑逼问，江医生被逼说出了刘已到泰山，特务们就从济南来到泰安，与泰安县县长周百锽联系，要上山拘捕刘思慕。周百锽阻止他们说：“山上有冯先生的卫队，你们如果上山，势必发生冲突，到时候，我是帮助冯先生的。”特务们虽然没敢上山，冯总觉得不够妥当，于是把刘又送到英文教师梁浚九家躲藏。不几天，梁告诉冯：“村上的人，世代相处，谁家的事都瞒不了。”在这样的情况下，为保障刘思慕一家的安全，连夜派人绕道山后，把他们夫妇和孩子送到胶济铁路线上的一个小车站，乘火车到青岛换乘海轮逃往日本去了。刘到日本后，冯不时汇款接济他的生活费用。
《抗日与军食》一书，是冯在泰山写的，取材泰山民间主要食品“煎饼”撰写成书。这种食品的原料是高粱、玉米等粗糙食粮，研磨成糊糊，然后摊熟，经久不腐，用作军食，不但价钱便宜，而且携带方便。冯对“煎饼”的评价很高，他说：“资本主义国家的军队，战时吃的是饼干、罐头，我们国家穷，吃不起。馒头、大饼易腐，不好储存。在战地升火做饭又容易暴露目标，唯有煎饼最适合我国的情况。”
冯一向极为节约，土布衣裤、布鞋布袜、圆顶毯帽、腰束布带，躬率随从人员植树种菜除草，俨然山村一老农。谁也看不出他就是名闻中外，主持察北抗战的同盟军总司令。
一九三四年秋，鲁南大雨成灾，有数县成为泽国。南京政府派孔祥熙北上视察灾情。冯唯恐孔仍如既往，做些官面文章，漠视灾民疾苦，当致电孔氏云：“大驾北来，可谓万家生佛，祥为千百万灾民三叩首矣”。
孔祥熙与冯私交甚厚，一九二三年冯驻军南苑，孔作为孙中山的代表驻在冯处，冯对孔礼遇有加。这时候，孔祥熙位居国民党政府财政部长，仍未忘怀旧日情谊，接到冯玉祥为民请命的电报后，确也做了些赈济工作。冯的电报虽寥寥二十一字，而灾民受惠多矣。
冯在五贤祠西约三多里远的小王庄，另办小学校一所。并建筑了一座砖房院落，内中陈列着各种科学化验仪器，定名为“科学馆”。又辟地数亩，种植核桃、蔬菜，名之为“核桃园”、“蔬菜园”。课余之暇，就漫步来到此处，或作化学试验，或参观学生活动。有时在果树林里剪枝除草，兴致很浓。有一天，在从五贤祠去那里，经过从百丈崖流下来的一道小河的时候，踏着流水里的石块涉水，稍一不慎，滑倒在河里，流水虽然不深，却也湿透全身衣裳，冯的膝盖也被碰伤。他当时对跟随他的人说：“我们空身人尚且滑倒，那些挑柴过河的肩负百斤重的担子，又怎么办呢？就是少吃一些，节省点钱，也要修座桥”。于是请来工程技术人员制定图案，就近取用泰山石料，请工匠凿石，进行施工。桥成后，冯亲笔题名“大众桥”，以取义方便大众之意。
一九五三年，敬爱的周恩来总理亲自倡仪人民政府给冯在泰山修建园墓。能工巧匠精心设计，利用这座石桥作为冯墓的墓道。这不但使“大众桥”增色，而且多了一层更为深远的意义。