狄仁杰，字懷英，并州太原(今山西太原)人，出生于一個官宦之家。他的祖父叫狄孝緒，當過尚書左垂。父親狄知遜，做過夔州長史。在這樣的家庭里，狄仁杰受到的教育是嚴格而良好的，因此，他一長大成人，就通過明經科考試及弟，授汁州參軍。參軍原本是參謀軍事，至唐，已演變成參謀性質的職官，官階不是很高。

狄仁杰初人仕途，并不順利，當上參軍不久，就被人污告。但誠如老子所言，禍福相依。隋唐時，全國分為十幾個道，對這些道，中央常派官員巡視，這巡視的官員稱之為黜置使。當時被派為河南道的黜置使是任工部尚書的閻立本。他接手狄仁杰一案后，便將狄仁杰召來訊問。

狄仁杰據理力爭，而閻立本通過審理，不僅還了狄仁杰一個清白，更發現了狄仁杰是一個難得的人才。他稱贊狄仁杰說：“君可謂滄海遺珠矣”！倘若狄仁杰遇到的不是閻立本，而是一個妒賢嫉能的小人，或一個糊涂官，那么狄仁杰的仕途恐怕也就走到了盡頭。

閻立本澄清狄仁杰的冤屈，認定他是滄海遺珠，就把他推薦到并州都督府當法曹。在唐代，都督府、州衙門和縣衙門都設得有法曹一職，但稱謂稍有不同。在府，稱為法曹參軍事，在州，稱為司法參軍事，在縣，稱為司法，其職能，就是掌管刑法獄訟方面的事。

至今，日本和韓國，仍把律師和法官、檢察官等司法界人士合稱為法曹，大約就是受了我國這一官職的影響。法曹這個職務，對狄仁杰一生影響巨大。狄仁杰在法曹任上，認真學習，從而通曉了吏治、兵刑等封建典章和法律制度。這為他不久遷任大理承奠定了堅實的基礎。

唐高宗儀鳳元年(676年)，狄仁杰被任命為大理寺丞。大理寺丞這個職務，大約相當于現在的法院院長，負責審判工作的。狄仁杰正是在大理寺丞這一位置上，牛刀初試，一年之中，將在獄中拖延了很久、涉及一萬七千多人的案件，全都審理得明明白白。按當時的制度，大理寺丞審完案子作出判決后，要將涉案人員的家屬叫來，問他們是否服從判決。誰也沒有想到，這一萬多人的家屬，居然人人稱是，沒有一人表示反對的。

狄仁杰由是名聲大震，時人稱之為“平恕”。當然，狄仁杰審理的案件若都只是一些普通老百姓的普通案件，那名聲再大，也將會是有限的。狄仁杰能以鐵面法官的形象青史留名，還在于他為伸張正義而不顧生死冒犯皇威。當時有兩個人，一個叫權善才，任左威衛大將軍，一個叫范懷義，任右監門中郎將。這兩人在不知情的情況下，誤砍了李世民墳墓昭陵的柏樹。這一來唐高宗不答應了，下旨要將二人處死。

狄仁杰得到命令卻不執行，反上奏道：這兩人罪不當死。唐高宗一聽，龍顏大怒，對狄仁杰說：這兩個家伙砍了我父親陵墓的柏樹，使我成為不孝之子，我一定要殺了這兩個家伙！

狄仁杰據理力爭，說道：漢朝時曾有人盜高廟的玉環，漢文帝想誅殺盜環者的九族。廷尉張釋之認為處罰太重，就問文帝道，盜了玉環就誅滅九族，那么有人若盜了長陵的一杯土，又還有什么更重的刑法來處置呢？于是只把盜環者殺了。如今將犯不死之罪的人處死，而且只是僅僅因為誤砍了一根柏樹就要殺兩個大臣，后來的人們將會怎樣來評價皇上您呢？唐高宗聽狄仁杰說得有理，這才罷了。

唐高宗也是個有頭腦的皇帝，特別是在他的早期，還是有所作為的。狄仁杰反對他殺權善才和范懷義二人，他想通后稱贊狄仁杰說：“你能堅持按法辦事，我有一個好法官了。”