上郡最早为战国时期魏文侯所置（即公元前446-公元前396年间），秦惠王十年（前328年）魏献上郡15县与秦，为秦初三十六郡之一，郡治肤施县（在今陕西榆林市南）。西汉、东汉时沿置，郡治未变。汉灵帝末，因羌胡大扰而迁徙，曹魏时与其他郡县并为新兴郡。隋朝时鄜城郡改名为“上郡”，唐朝以后成为历史名词。