中華民國時期，屬勃利縣管轄，初隸南鄉(xiāng)，后改隸小五站鎮(zhèn)。

1931年東北淪陷后，隸屬十一甲。

1938年日本侵略者強占民地，設立桃山開拓點。

1945年“九三”抗日戰(zhàn)爭勝利后，隸屬勃利縣第五區(qū)管轄。

1948年桃山區(qū)劃歸新增設的七臺河區(qū)。

新中國成立后，1951年2月改為第十二區(qū)。

1955年5月，復改為七臺河區(qū)。

1956年3月，撤七臺河區(qū)劃鄉(xiāng)，隸屬七臺河鄉(xiāng)管轄。

1958年9月，并入七臺河人民公社，同年底劃歸七臺河礦區(qū)公社管轄；1960年3月，改隸七臺河鎮(zhèn)公社。

1965年2月，劃歸七臺河特區(qū)管轄。

1970年4月，改隸七臺河市。

同年5月，設立市屬桃山街道。

1973年6月，并入紅旗公社。

1978年9月，七臺河市政府自北山遷至桃南（今桃山區(qū)）。

1981年10月，復設桃山街道。

1984年1月21日，黑龍江省省政府批準，設立桃山區(qū)，名稱沿用至今。