第35軍是解放軍歷史上壽命最短的軍之一，從1949年2月組建到1950年1月撤編只存在了一年。35軍最初由吳化文的起義部隊組成。吳化文部追根溯源為馮玉祥的西北軍。首任軍長也是末任軍長是吳化文。

吳化文，一生四次叛變五易其主，他1904年出生于山東掖縣，8歲隨父母遷居安徽省蒙城，1920年離家出走，投西北軍馮玉祥部當兵，升為排長、傳令官。因為人乖巧機靈被馮玉祥器重，1923年，入北京教導團學習，繼又被馮送進北洋軍閥開辦的陸軍大學深造，畢業后回馮玉祥部任師參謀長。26歲背叛馮玉祥投靠韓復榘。1930年棄馮玉祥投奔韓復榘，先后任高級教導團團長、手槍旅旅長兼濟南警備司令等職。

韓復榘被處決后，他是抗戰中第一個被處決的高級將領，為何被殺，三種說法見仁見智，1938年1月，吳化文所在部隊被蔣介石改編為獨立二十八旅，他任旅長。魯南臺兒莊失守后，其部被改編為新四師，吳任師長兼山東保安第一師師長。抗戰初期，率部先后在泰安、萬德、虎門、柳河等地與日軍作戰。1939年，日軍“五一大掃蕩”，他率部在臨朐與敵鏖戰竟日，重創日軍，受到八路軍的贊揚。39歲投靠日偽當漢奸。1943年，他投靠漢奸汪精衛，晉見日軍侵華總司令岡村寧次，被委任為日偽第三方面軍總司令，協同日軍進攻八路軍。41歲時日寇投降，漢奸當不成了，他再次投靠蔣介石。出任第五路軍司令兼津浦鐵路南段司令，執行蔣介石“防止共軍占據鐵路交通”的命令。1945年至1948年腳踏兩只船，只圖保存實力。1945年10月其一部被人民解放軍擊潰。為擺脫困境，保存實力，他于1946年7月與中共聯系，表示愿意站到人民方面。1947年3月，蔣介石對山東解放區發動重點進攻，吳化文又繼續追隨蔣介石，時任國民黨整編八十四師師長。

1948年7月，被王耀武保薦為整編96軍軍長，防守濟南西線。1948年8月，中國人民解放軍包圍濟南，在外迫內促之下，他終于在 9月16日率2萬名官兵戰場起義。后改編為中國人民解放軍第35軍(下轄第103、第104、第105師)，吳化文任軍長，保持原有建制，為華東野戰軍直屬部隊。淮海戰役初期，35軍在后方整訓，第三階段時，粟裕下令35軍南下參戰，在宿縣集結作預備隊，未參加戰斗。？1949年1月淮海戰役結束，華野全軍休整。中旬，35軍與魯中南縱隊(屬華野第2兵團)合并，下轄的三個師(第103、第104、第105師)。原吳化文部縮編為三個團。各個師中吳化文部有一個團，魯中南縱隊兩個團。魯中南縱隊在解放戰爭初期，與吳化文部為死敵，反對合并，認為這是“包辦婚姻”、“強迫婚姻”。陳毅出面工作，他在賈汪會議總結時說：“華野編16個軍，4個兵團。魯中、渤海、江淮三個縱隊不編，充實三個起義部隊。這樣合編對起義部隊的進步是有幫助的，向他們說清楚我們沒有把他們當雜牌看待，也沒有當客人看待，而當自家人一樣。”。魯中南縱隊的人對此依然不服，后召開全軍干部大會，吳化文檢討了自己歷史上的罪惡，矛盾才緩和下來，完成35軍的整編。2月9日，華野發布整編命令，改稱第三野戰軍。軍以下按三三制設師、團、營，師、團的番號則按全軍序列排列。

中國人民解放軍第35軍的主要戰績就是占領南京了。1949年4月20日，民國政府拒絕中國共產黨的和平方案。子夜起，第三野戰軍和第二野戰軍開始強渡長江，渡江戰役開始。35軍因準備執行“攻占浦口，炮擊南京”而暫歸第八兵團指揮，擔任對南京守軍鉗制和監視任務。21日，35軍進攻江浦、浦鎮、浦口。清晨104師攻克江浦縣城。103師全殲江浦的守軍。22日深夜占領浦口。由于原定接管蕪湖、南京的陳賡第四兵團尚在江西湖口和安徽望江地段，轉到南京，需十多天。于是鄧小平與劉伯承商定取消第四兵團接管南京的任務。改由第八兵團擔任南京城防任務。24日凌晨，35軍104師312團3營率先占領總統府。4月29日，粟裕命令三野第八兵團的24軍前往南京接防，35軍調往杭州。1950年1月16日，軍委命令，第30軍和第35軍番號撤銷。35軍軍部調歸海軍，所轄三個師分別調歸浙江軍區并兼幾個軍分區。1952年5月15日，浙江軍區的第104師與其它9個師一起集體轉業，改編為工程部隊及屯墾部隊。