我國古代的水上部隊稱舟師、水軍或水師。郭沫若主編的《中國史稿》中說，商代后期，商王武丁曾派人乘船追捕逃亡海上的奴隸。后來，隨著船舶質量的提高和數量的增加，船舶便大規模地用于戰爭。武王伐紂渡孟津，是我國史籍關于船舶用于軍事運輸的最早記載。公元前1070年正月，周武王率兵伐紂，參戰部隊由47艘大船運送，在孟津渡河東進，經牧野決戰大破商軍，直搗商都朝歌(今河南淇縣)。這次渡河作戰，組織嚴密，有專人指揮船只，規模空前。但這些船只畢竟是臨時征集的，沒有專門用于水戰的兵器和人員，因此還稱不上舟師。

春秋時期，鐵器的使用使造船技術和造船能力得到空前的提高，南方的吳國、越國、楚國和濱海的齊國都先后改裝和建造戰船，抽調官兵進行水上作戰訓練。據《左傳·襄公二十四年》記載：“楚子為舟師以伐吳，不為軍政，無功而還”。這說明在公元前549年以前，楚國已經有了舟師。

秦漢時期水軍己頗具規模。漢代最著名的戰艦是樓船，《史記》《漢書》中有樓船將軍、樓船校尉、伏波將軍、戈船將軍、橫海將軍、橫海校尉等稱謂。漢武帝劉徹曾創建了一支訓練有素、裝備精良、擁有十多萬常備兵員的大型樓船水師，《史記》記載：“治樓船高十余丈，旗幟加其上，甚壯。”

斗艦是東漢時出現的新型戰艦，對它的記述首見于《三國志》：“劉表治水軍，蒙沖斗艦，乃以千數”。三國時吳國造船業很發達，能夠制造容納3000人的上下高5層的大船。公元230年，吳國還曾派萬人水師到達了夷州，即現在的臺灣。

宋朝時，我國兵器的發展進入了一個新的歷史時期。當歐洲人還在苦練劍術的時候，南宋戰船已裝備了弓射火箭、火球、霹靂炮、突火槍等。公元1161年10月27日，世界海軍史上第一次使用火藥兵器的海戰在中國黃海海域展開。南宋將領禮包率水師3000人、戰船120艘，直撲山東黃島的金軍水師大本營，南宋水師依靠先進的火器裝備，擊敗了金軍水師艦隊。

元朝初期，水師戰艦就已有17900艘。元世祖造戰船5000艘，操練水軍7萬人。元軍對火器進行了改進，形成了最早的“火炮”，并裝備在戰艦上。公元1279年4月，元朝水師與南宋水師在廣東崖山近海遭遇，在元軍戰艦的大炮轟擊下，南宋水師終于土崩瓦解。

明朝時我國造船業的發展達到了第三個高峰。明朝萬歷26年(1598年)11月，中朝兩國水軍同日本水軍在朝鮮半島南邊露梁以西海域進行了一場大規模海戰。在海戰中，中朝兩國水師密切配合，英勇奮戰，終于取得勝利。日軍死亡數以萬計，艦船也幾乎全部覆滅。這次戰役給侵朝日軍以毀滅性打擊，對戰后朝鮮200年的和平局面起了重要的作用。

近代中國，海權喪失。1875年5月，日本派兵企圖侵占臺灣，清政府決定從速建設南北洋水師。1888年12月17日，北洋水師正式宣告成立。從此，近代中國擁有了一支在亞洲規模第一的海軍艦隊。但由于朝政腐敗，經費拮據，缺乏國內的工業基礎，北洋水師的戰艦在航速、射速等方面漸被日本趕超。1894年中日甲午海戰中，北洋水師全軍覆沒。

1911年辛亥革命后，孫中山曾提出“海軍建設應列為國防之首要”，主張建設能與列強并駕齊驅的強大海軍。然而他超前的海洋思想只能無奈地凝固在紙面上。

新中國建立后，中國的海軍建設翻開了新的一頁。從最初它只是一支近岸防御型海軍，逐步發展成為了一支近海防御型海軍，再經過新世紀大發展后，成為了一支初具規模的遠洋海軍力量。隨著“中華神盾”導彈驅逐艦、052C、052D導彈驅逐艦、039常規潛艇以及蘇-30、戰略導彈核潛艇、核動力攻擊型潛艇，以及岸基遠程導彈、“遼寧”號航母、飛豹等戰斗機的相繼服役，中國海軍具備了萬里集結、遠洋作戰的攻防能力。2012年9月25日，我國第一艘航空母艦“遼寧”艦正式交付海軍，這是中國海軍建設史上一個新的里程碑，意味著中國海軍向藍水遠洋海軍邁出了嶄新一步。