回族的“回”字，是沿用伊斯蘭教在中國的舊稱“回回教”中的“回”，回字“大口里有小口”，取該字意在告誡人們要言行一致，而且這與伊斯蘭教的信仰——“口舌承認，心里誠信(穆罕默德奉安拉之命的宣教)”是相符合。所以從文字的演化上講，回族的“回”在意思上其范圍縮小了。隋唐時期的胡人、蕃客、胡商，實際主要是指來自波斯和中亞地區的人群(可參見《太平廣記》等唐代的記載)，這些胡人有僑居也有定居，定居所住的地方叫“蕃坊”，這就是回族習慣把聚居地稱為“回坊”的來由。僑居的則來往于絲綢之路和香料之路從事商業活動，從事經商的胡人蕃客，會選擇寒冷季節到來前趕回去，氣候轉暖時再回來。

回族民間有說法認為，這是被漢語人群稱做“回”或“回回”的原因。國內史學界則多認為是“回回”是“回紇”、“回鶻”的異寫或音轉。唐代的在華胡人中，還有波斯和中亞小國的一些王族和平民，他們是為躲避阿拉伯人的侵略，逃亡而來?！端囊酿^考》中說到：“回回在西域，地與天方國鄰”。元代之前，“回紇”、“回鶻”和“回回”，這三個詞在的漢語文獻中沒有明確的界限，幾乎是同義詞，在不同作者的漢文史籍中通常是交替混用，所指囊括了西域、漠北胡人直至中亞和波斯一帶人群，用回回一詞稱呼來自回鶻地帶還往西的人則顯得更多一些。

宋元時期，分布在中東部的回回(粟特、猶太、波斯等胡商成分較多)以及部分回紇、回鶻被稱為回回人;而分布在漠北一帶的部分回鶻、回紇或回回，則聯合當地一些民族西遷后形成畏吾兒，還有的發展成為塔吉克、烏茲別克等西域民族。此際，胡人、回鶻、回紇這類稱謂，在史書記載中基本消失?！盎鼗亍币辉~明朗起來，在官方的詔諭和漢文記載中凡涉及到民族的一般為“蒙古、畏兀兒、回回、也里可溫、河西、契丹、女真、漢人”這類字樣。

元代“回回”在官方或漢語史籍中除了指已經定居在中國境內的回回人外，通常也指的是比“畏吾兒”更西的人群，也就是“蔥嶺以西、黑海以東”——阿富汗、烏茲別克斯坦、塔吉克斯坦、伊朗、吉爾吉斯斯坦、土庫曼、阿塞拜疆以及哈薩克斯坦、伊拉克、土耳其和高加索部分地區。宋元以至明清期間，除了明代的撒拉等族外，凡是從這一地區入華的商人、工匠、軍士、學者等幾乎都自然的歸入回回人里。

歷史長河中，這一地帶分分合合，時而統一為一個國家，時而分裂為諸多小國，雖然不同國家不同族群在語言和文化的細部上存有差異，但整個文化面貌和人種上則大體一致，也都有禁食豬肉等古老的西域民族傳統。明代，“回回”和“色目人”在漢文記載中并用，如《大明律》有關律條正文下面的纂注中，通常有“色目即回回”的釋文。但也有使用“回輝”的現象，如呼和浩特清真寺清真寺內存有“洪武皇帝御制回輝教百字”碑。

“杭郡重修禮拜寺記”也有“回輝氏”一語。明萬歷四十一年的北京牛街禮拜寺“敕賜禮拜寺記”碑中，回族自稱為“回回”，這是目前為止回族人以回回自稱的最早證據。

實際回回做為自稱的年代比這早得多，只是由于相關歷史文物、記載被毀壞和篡改掉了，也和各代封建統治者的文字獄有直接的關系。

回族一詞做為民族稱謂，目前有據可查的是出現在清乾隆時代。乾隆《重修肅州新志》卷三十“西陲紀略”敘述哈密人口向肅州地方的遷徙時寫道：“哈密夷人于故明時徙居肅州衛東關鄉居住者三族。

曰維吾兒族，其人與漢俗微同;曰哈喇布族，其人與夷同;曰白面回回，則回族也。今皆男耕女織，為邊氓矣。士商營伍，咸有其人”。再往后的年代，“回族”做為民族稱謂使用越來越普遍，僅在官方記載中的例子就不勝牧舉。