1902年8月17日，蔣先云生于湖南省新田縣大坪塘鄉大坪塘村，父親蔣繼堃是清末秀才，為人忠厚正直;母親肖玉秀，樸實勤勞;蔣先云兄弟姐妹8人，蔣先云排行最小，1917年他考入湖南省立第三師范學校。“五四”期間，在毛澤東的領導下，蔣先云任湘南學生聯合會第一屆總干事，與夏明翰、黃靜源共同領導組織湘南25個縣學生罷課運動。他在校期間組織革命團體“心社”，創辦《嶷麓警鐘》月刊，開了湘南革命組織之先河。

身為湘南學生運動領袖，蔣先云頗得毛澤東的贊賞。1921年，經毛澤東介紹，蔣先云加入了中共，第二年，蔣先云參與了與李立三、劉少奇組織領導的安源路礦大罷工，隨即成長為工人運動領袖。1924年春，黃埔軍校第一期開始招生，吸引了全國一大批有志青年踴躍報名。蔣先云也由中共湖南黨組織選派，經毛澤東、夏曦、袁達時介紹投考黃埔軍校。當時考試要求非常嚴格，報考者要經過初試、復試、總考試三關，先在全國19個省區進行招生初試，然后再到上海、重慶等市進行大地區范圍的復試，合格后方可到廣州參加總考試。

時任國民黨中央候補執行委員的毛澤東，負責國民黨上海執行部工作，并負責黃埔軍校在上海地區(長江流域及其以北各省)考生復試工作。蔣先云通過初試、復試后，到達廣州參加總考試。總考試包括國文、數學、歷史、地理等科目，在1200余名考生中，蔣先云名列第一。令人驚嘆的是，從入學開始一直到畢業考試，蔣先云囊括了所有科目成績的第一名，且與陳賡、賀衷寒并稱“黃埔三杰”。廖仲愷驚嘆他是“軍校中最可造就的人才！”據周恩來回憶，蔣介石也把蔣先云視為自己最得意的學生。蔣先云也因之而成為了唯一獲得毛澤東與蔣介石共同賞識的學子。

當時按照國共兩黨合作的決策，在軍校里要求師生們一律參加國民黨，由于蔣先云進校前已經參加了共產黨，也遵照學校的決定參加國民黨，成為跨黨的黨員，由此他成為了國共兩黨都倚重的驕子，師生敬重的寵兒，一面揚威軍校內外的旗幟。蔣介石曾聲言：“將來革命成功后解甲歸田，黃埔軍校這些龍虎之士只有蔣先云才能指揮。”1924年3月19日，蔣先云從上海回到長沙，與李祗欣(湖南省醴陵縣人，李立三同志的胞妹，中共黨員)喜結良緣。

蔣先云在黃埔軍校期間很活躍，擔任中共黃埔特別支部第一任書記，在廖仲愷、周恩來的幫助下，他牽頭創建中國青年軍人聯合會并任主席，發表了多篇革命文章，成為黃埔軍校最有影響力和威望的學生，影響了一大批青年軍人(包括開國元帥徐向前、紅軍高級將領左權)，很多有志青年軍人把“青年軍人聯合會”作為他們革命精神的寄托，會員由開始的2000多人迅速發展到20000多人，活動范圍由黃埔軍校延展到在廣東的軍隊和滇、桂、湘所設的軍校，進而遍及全國，成為一代青年軍人中大部分走革命道路的導航站。后來從黃埔軍校走出了許多共產黨人，很大一部分原因是與蔣先云等人的宣傳鼓動和思想灌輸分不開的。

1925年初，蔣先云畢業留校，擔任校長蔣介石的秘書。2月，“小蔣”隨“老蔣”參加第一次東征，兩次負傷;6月在廣州平定“楊劉”叛亂中，只身帶領一個連沖進市中心，占領了滇軍總指揮部，立下奇功;8月又參加第二次東征，已擔任第1軍3師7團黨代表的他在三次負傷的情況下，親率敢死隊一舉攻占了“歷史上從未被攻克過”的惠州城。