據(jù)《留青日札》記載，當(dāng)朱元璋打下江浙后，沈萬(wàn)三與其弟萬(wàn)四(沈貴)在兩浙豪富中首先輸糧萬(wàn)擔(dān)，獻(xiàn)白金五千兩，以佐用度，“太祖軍食，多取資焉”。但是貪得無(wú)厭的朱元璋卻要“務(wù)罄其所有金”，想方設(shè)法來(lái)消耗他的家財(cái)。

據(jù)董谷《碧里雜存·沈萬(wàn)三秀》記，有一次，朱元璋在月朔(即初一)日召見(jiàn)他，給他一文錢要他生利，從初二開(kāi)始，一文取兩文，初三日取四文，初四日取八文，每天翻一倍，亦即按等比級(jí)數(shù)增長(zhǎng)，以一月為期。

沈萬(wàn)三不知就里，欣然接受。哪知回家一算，一月之后，該付給朱元璋利息為五億三千六百八十七萬(wàn)九百十二文。按，洪武錢每一百六十文重一斤，則共計(jì)三千三百五十五萬(wàn)四千四百三十二斤。沈氏雖富，但哪里經(jīng)得起這樣的盤剝？

除了巧取，還有豪奪。有一次，朱元璋召見(jiàn)沈萬(wàn)三，要他每年“獻(xiàn)白金千鋌，黃金百斤”，還命他造六百五十間廊房，養(yǎng)數(shù)十“披甲馬軍”，并對(duì)他的田產(chǎn)每畝征九斗十三升的重稅。

沈萬(wàn)三大概也明白樹(shù)大招風(fēng)的道理，所以想主動(dòng)報(bào)效以保平安。明洪武六年(1373)前后，當(dāng)他得知京城(今南京)要筑城墻時(shí)，就主動(dòng)承擔(dān)了修筑洪武門至水西門城墻的任務(wù)。

當(dāng)時(shí)的南京城墻全長(zhǎng)三萬(wàn)七千一百四十米，合七十四華里多，朱元璋的筑城計(jì)劃，僅造磚一項(xiàng)，便涉及一部(工部)、三衛(wèi)(駐軍，相當(dāng)于軍區(qū))、五省、二十八府、一百一十八縣，另有三個(gè)鎮(zhèn)。

而沈萬(wàn)三一人負(fù)責(zé)的城墻，占整個(gè)工程量的三分之一，他以一家之力，是怎樣如期完成的？沒(méi)有人知道。

今南京水西門外，有座賽虹橋，相傳為沈萬(wàn)三兒媳所建。明人記載，沈萬(wàn)三建造數(shù)橋之后，很是得意，便在家中炫耀。誰(shuí)知兒媳很不以為然，便用私房錢悄悄建了一座橋。該橋“工巧宏麗”，比公公所造之橋有過(guò)之而無(wú)不及，人們把它叫做“賽公橋”——兒媳尚且如此，可見(jiàn)沈家確實(shí)實(shí)力不凡。

沈萬(wàn)三處于事業(yè)巔峰時(shí)，他的弟弟沈貴(萬(wàn)四)已看到危機(jī)，曾寫詩(shī)勸他說(shuō)：“錦衣玉食非為福，檀板金樽亦可休。何事百年長(zhǎng)久計(jì)，瓦罐載酒木綿花。”要他低調(diào)做人，從事耕織，但沈萬(wàn)三沒(méi)有聽(tīng)從他弟弟的話，終于招來(lái)了滅頂之災(zāi)。

沈氏家族的沒(méi)落是個(gè)漸進(jìn)的過(guò)程。第一次打擊大約在洪武三年(1370)至六年(1373)。

朱元璋統(tǒng)一天下后，沈家的日子自然不好過(guò)。即便是沈萬(wàn)三已經(jīng)不在人世，沈家也沒(méi)人充軍云南，但經(jīng)過(guò)這番折騰，沈家的財(cái)富也蝕減過(guò)半了。

再加上朱元璋建立明朝之初，對(duì)江南富民采取了嚴(yán)苛的政策，多次強(qiáng)制遷徙，并課以重賦，從此之后，沈家也就一蹶不振了。

第二次打擊是在明洪武十九年(1386)的春天，沈萬(wàn)三的兩個(gè)孫子(沈旺之子)沈至、沈莊先后入獄。《故沈伯熙(莊)墓志銘》記：“洪武十九年春，兄至以戶役故，縲紲赴秋官，時(shí)伯熙亦獲戾京師，適與兄同系獄，入則抱其兄痛泣曰：‘吾兄素羸，不堪事，今乃至于斯耶！’既而伯熙先出，遂得疾甚，藥莫療……卒于京。”

沈至入獄的原因是逃避賦役，沈莊入獄則可能是涉嫌“胡黨”、逃避賦役而羈押至京，其事不小，連補(bǔ)帶罰，再加上兩兄弟最終都能出獄的上下打點(diǎn)，其數(shù)目也定在巨萬(wàn)以上。

大約在同年，沈萬(wàn)三的女婿陸仲和卻在劫難逃，被扣上“胡黨”的罪名滿門抄斬。

第三次打擊是在明洪武三十一年(1398)。

洪武二十六年(1393)，“藍(lán)黨”案發(fā)，藍(lán)玉被處死，株連則在全國(guó)蔓延。有一位叫王行的先生，曾兩次在沈家坐館，同沈家至少有三十年的交情，又兩次在藍(lán)玉家坐館，前后也有十多年之久。

通過(guò)王行的關(guān)系，想在新朝找到靠山的沈家同藍(lán)家也有了交往。“藍(lán)黨”案發(fā)后，有人勸王行逃遁，這位先生說(shuō)：“臨難無(wú)茍免。”結(jié)果以同謀罪被誅。

當(dāng)時(shí)，沈萬(wàn)三女婿顧學(xué)文因奪人之?huà)D，仇家懷恨在心，藍(lán)玉事發(fā)后，仇家即以沈家同藍(lán)家的關(guān)系為據(jù)，誣告顧學(xué)文與藍(lán)玉通謀。在嚴(yán)刑逼供下，顧學(xué)文招認(rèn)曾收到藍(lán)玉“鈔一萬(wàn)五千貫”，為他購(gòu)置糧米、綢緞等物，用來(lái)準(zhǔn)備起事和賞人。

《弘治吳江志》載：案情牽涉他的“妻族沈旺、沈德全、沈昌年、沈文規(guī)、沈文矩、沈文衡、沈文學(xué)、沈文載、沈海，凡八人。”其中沈旺是沈萬(wàn)三的兒子，其他人等也都是沈萬(wàn)三的子孫。

《周莊鎮(zhèn)志卷六·雜記》記：“洪武三十一年二月學(xué)文坐胡藍(lán)黨禍，連萬(wàn)三曾孫(沈)德全六人，并顧氏一門同日凌遲。”同日被殺的還有八十多人。

《乾隆吳江縣志·舊事》載有胡藍(lán)黨犯人沈德全一家的處置細(xì)節(jié)：二月十八日載：“正黨與戶下戶丁多著折了臂膊，未出動(dòng)的小廝不打，且牢著他。供出的田口家財(cái)斷沒(méi)了。”

二月二十日載：“正黨與戶下戶丁都凌遲了，十歲以上的小廝都發(fā)南丹衛(wèi)充軍，十歲以下的送牧馬所寄養(yǎng)，母隨住;一歲至三歲的隨母送浣衣局，待七歲送出來(lái)。”——真可謂慘不忍睹！

沈萬(wàn)三苦心經(jīng)營(yíng)的巨大家業(yè)，就這樣急劇地衰落了。