因地處榆林古城，南憑榆陽河（古名榆陽水），故名。

明天順年間筑懷遠堡，取懷柔邊遠之意，清雍正九年（1731）改縣；因與安徽省懷遠縣重名于1914年改現名，以境內橫山山脈命名。橫山山脈以其走向而得名，起于六盤山脈，掠寧夏，東迤入陜，經長城附近，終黃河岸邊，層巒疊嶂，群峰聳立，險峻崢嶸，山勢雄偉，風光秀麗。宋元豐種諤上言：“橫山延袤千里，多馬宜稼”。主峰在縣南80千米的大理河北岸之柴家園梁，海拔1520米，山峰奇高，直插云端。

五代后梁乾化元年（911）于府谷鎮(zhèn)設府谷縣；據《文獻通考》：縣從鎮(zhèn)名，另據《陜西志輯要》：因境有府谷，故名。

明朝設靖邊衛(wèi)、靖邊營，取綏靖邊遠之意，清雍正九年(1731)改縣，因靖邊衛(wèi)得名。

據《中國地名辭源》：縣因堡名；明正統(tǒng)二年(1437)設定邊營，取底定邊疆之意，清雍正九年(1731)改縣，取底定邊遠之意。

西魏廢帝元年(552)置綏州，金大定二十三年(1183)設綏德州，1913年設縣；據《綏德縣志》：綏德為金州名，本后魏綏州，宋為綏德城，金升為州，因城舊名；取綏民以德之意。

金正大三年(1226)于米脂寨(今址)設米脂縣，據清光緒《綏德府志》：縣本宋米脂城，以地有米脂水，沃壤宜粟，其米汁淅之如脂，故名；金升為縣，因宋舊名。

北宋元豐五年(1082)置葭蘆寨，因城西葭蘆川西岸葭蘆(蘆葦)叢生得名；金大定二十四年(1184)晉寧州改葭州；明洪武七年(1374年)降為葭縣，據《中國地名辭源》：縣沿州名，以州臨葭蘆川，其岸多葭蘆，故名；后又升為葭州，1913年改縣，1964年因葭字生僻改現名。

北宋元豐四年(1081)設吳堡寨，金正大三年(1226)升吳堡縣，據《綏德州志》：吳堡縣，本宋吳堡寨，縣從寨名；因境內寇家塬村北有吳王墓得名;一說此地虜居過吳人，又是戰(zhàn)略要地，故名。

金大定二十二年（1182）設青澗縣，明洪武四年（1371）改現名，以清澗川（秀延水、辱水青澗河）名縣；據《寰宇通志》：宋置清澗城，取清澗川為名。

1944年由綏德、米脂、清澗、子長等縣析置，因里面革命先烈李子洲得名。

元至元六年（1269）云州改神木縣，2017年4月設市，據清《神木縣志》：因巽山有神樹二株，故名；相傳麟州故城東有三株古松為唐代所植，粗兩三人合抱，枝柯相連，人稱神奇，故名。