漢武帝時期，中國出現了一支秘密警察，這些人身穿繡衣，手持節杖和虎符，四處巡視督察，發現不法問題可代天子行事。對于這類特殊力量，漢武帝給他們冠名曰“繡衣使者”，也稱作“繡衣御史”、“繡衣直指”、“繡衣執法”、“直指繡衣”、“直指繡衣使者”等，有時也簡稱“直指”。

據考證，“繡衣使者”最早出現于元鼎二年，即公元前115年。當時，“會五銖錢白金起，民為奸，京師尤甚，……奸益不勝，直指始出矣”，所謂的“直指始出”就是“繡衣使者”誕生的標志。作為御史的一種，“繡衣使者”官位很低，且不是常設官員，但這些人是漢武帝專門挑選、為辦理專案特設的，他們直接聽命于皇帝，直接對皇帝負責，冷若冰霜，不講情面，很能震懾大小官員。

從史料記載看，“繡衣使者”前期的職責主要是奉命“討奸”、“治獄”，督察官員、親貴奢侈、逾制、不法的事。他們神出鬼沒，無處不在，一度非常活躍，甚至“威振州郡”，令很多不法官員聞風喪膽。后來，隨著形勢變化，“繡衣使者”又有了“捕盜”的職責，也就是鎮壓農民起義。

漢武帝是個能君，也是個能花錢的主。抗擊匈奴也好，獎賞將士也好，通使西域也好，大興土木也好，龐大的開支耗盡了文景之治以來的積蓄，各種負擔最終變相地轉嫁到了勞動人民身上，造成大量農民破產流亡。到元封四年(前107年)，關東流民達二百多萬，社會矛盾日趨嚴重。天漢二年(前99年)，農民起義頻發，天下騷動，起義遍布豫、楚、齊魯、燕趙，聲勢浩大。

對于當時的風暴，蔡邕也曾言，“民不堪命，起為盜賊，關東紛擾，道路不通，繡衣直指之使奮斧鉞而并出”。為此，漢武帝派出“繡衣使者”，督促各地鎮壓農民起義，上至州刺史、郡太守，下至一般小吏，凡對起義鎮壓不力的，一律就地處決，稱“沉命法”。此外，他們“奮斧鉞而并出”，手持武器，對農民鎮壓也很殘酷，有的地方只有幾千人起義，他們屠殺的甚至上萬。暴勝之、王賀等人都是此時充任繡衣的，而真正將“繡衣使者”干到巔峰的，當屬江充。

江充本名江齊，字次倩，西漢趙國邯鄲(今河北邯鄲)人。他身材魁梧，容貌英俊，服飾輕細靡麗，談吐出色，后被漢武帝任命江充為“直指繡衣使者”，一躍成為漢武帝身邊的近臣。他負責監督貴戚和近臣的言行，看看有沒有僭越的，有沒有過于奢侈、犯法的。任職期間，他行事果決，鐵面無私，“買賣直邀寵”，立功心切，專找達官顯貴的麻煩，對皇親國戚也不徇私情，有時為了達到個人目的，甚至不惜捏造事實、栽贓嫁禍。西漢著名的“巫蠱之禍”就是江充受漢武帝密令，憑借“直指繡衣使者”的特殊身份親自辦的，結果皇太子劉據被迫起兵造反而身死，造成宮廷慘劇。

從西漢后期至王莽時期，由于政治黑暗，吏治腐敗，賦役更加沉重，農民起義不斷。從史料看，平帝元始四年(4年)、王莽始建國三年(11年)、天鳳二年(15年)等時段，也常有“繡衣使者”出沒各地。后來，歷朝歷代都有沿用漢武帝的這一做法，武則天時期的“內衛”，明朝時的“錦衣衛”，這些直屬中央的秘密警察，雖名號各自不同，但都有當年漢武帝“繡衣使者”的影子。