司馬光生性不喜華靡，素以儉樸自守。在洛陽編修《資治通鑒》時，住在城郊西北一個小巷中，居所極為簡陋，僅能擋風遮雨。夏天為避暑熱，他請工匠挖地丈余，用磚砌成地下室，讀書寫作其間。大臣王拱辰當時亦居洛陽，所建宅第凌天高聳，最上一層稱朝天閣，洛陽人戲稱：“王家鉆天，司馬入地。”邵康節則打趣說：“一人巢居，一人穴處！”

司馬光不收任何人送給他的禮，就連皇上的賞賜也不受。仁宗皇帝臨終前立下遺詔，賜予司馬光等大臣一筆價值百余萬的金珠。司馬光考慮到國家財力不逮，便領銜上書請免。力辭再三未果，只好將自己那份珠寶交諫院充作公費，金錢接濟了親友，自家分文未留。司馬光為官40年，僅有薄田三頃，所得薪俸大多周濟了窮人。其妻去世時，竟拿不出錢來辦喪事，只得典當薄田置棺埋葬。司馬光臨終床簀蕭然，唯枕間有《役書》一卷，故呂公著為挽詞云：“漏殘余一榻，曾不為黃金。”

司馬光府上有個仆人，30年來一直稱呼他“秀才”。前來拜會的蘇軾，聽后覺得不恭，就教他以后改稱“大參相公”。作為稱呼，“相公”是指“位居宰相之職并享有公爵爵位的人”。司馬光聽仆人突然改口，吃驚地問他誰教的，仆人如實稟告。司馬光說：“好好一個仆人，被蘇東坡教壞了。”在司馬光看來，“賢者居世，會當履義蹈仁，以德自顯，區區外名何足傳邪！”他不僅自己不吝身份，也不希望家人為世俗所染，變得勢利起來。

俗話說，“宰相家人七品官”。在封建社會里，因勢焰熏灼使然，官宦府邸中人，即便車夫、門子，身價也非同一般。如果家規不嚴、門風不正，他們就會倚權仗勢，尋釁滋事，有恃無恐，橫行不法，甚至貪污受賄，作奸犯科。據《清仁宗睿皇帝實錄》記載，和珅的大管家劉全，查抄資產竟至20余萬，并有大珠及珍珠手串。若非縱令需索，何得如此豐饒！

一天，司馬光經過獨樂園，見新蓋了一間廁屋，就問守園者，建房的錢是從哪里得來的。守園者答，是我把游人給的賞錢積攢起來的。司馬光說，為什么不留著自己用？守園者說，難道只有相公您不要錢？守園者的回答很有意思，一句反問，就把主仆雙方的為人都說清楚了。賞錢屬于個人正當得利，留為己用合情合理，守園者卻用于公共設施，這顯然超越了一般職業操守。他能這樣做，無疑是受到司馬光的熏陶。人格的魅力有多大，影響力就有多大。

在司馬光手下當差，無勢可仗，無光可沾，也無油水可撈，顯然要比其他公府豪門清苦。但因主人夫婦待之以誠，持之以禮，從不欺凌打罵，他們活得自在有尊嚴，心里感到踏實，這可不是金錢能夠買得來的。他們不僅安貧若素，沒有怨言，而且也像主人一樣平和敦厚，不慕奢華，不圖富貴，老老實實做人，勤勤懇懇做事。

行勝于言，“修齊治平”四字，司馬光踐履得十分到位。他深知“由儉入奢易，由奢入儉難”，“儉能立名成業，侈必墮落自敗”，并視為“大賢之深謀遠慮”。因此在身教同時，非常重視言教。《訓儉示康》一文，就是司馬光專門教誨繼子司馬康的。由于身教言教并重，其家族后人也都以賢德立身，絕無“官二代”之累。司馬光一生著述頗豐，收入《四庫全書》的就有16種457卷。影響力大的除《資治通鑒》外，就是《家范》了。《家范》廣泛收集了治家有方的實例，系統闡述了家庭倫理關系、治家原則以及修身處世之道，為歷代推崇的家教范本。司馬光自己說，《家范》比《資治通鑒》更重要，因為家風是世風之基。