原为匈奴昆邪王地，汉武帝元鼎六年（前111年）分酒泉郡东部置张掖郡。取“张国臂掖，以通西域”之意。张掖郡治觻得县（在张掖市甘州区西北），领十县：觻得、昭武（今甘肃临泽县鸭暖乡大鸭村南板滩）、删丹（甘肃山丹县城关镇）、氐池（甘肃民乐县洪水镇）、屋兰（张掖市甘州区碱滩镇古城村）、日勒（甘肃山丹县绣花庙）、骊靬（甘肃永昌县焦家庄乡杏树庄村）、番和（甘肃永昌县焦家庄乡水磨关南1公里）、居延（内蒙额济纳旗东南约17公里处）、显美（今甘肃永昌县城东的四十里铺，六坝乡的古城）。属凉州刺史部。其辖境大致相当于今甘肃省永昌县以西、高台县以东，以及内蒙古额济纳旗。汉平帝元始二年有24352户，88731人。
新莽 始建国元年（9年），张掖郡改名为设屏郡，领8县：官武（觻得）、洰武（昭武）、否武（氐池）、传武（屋兰）、贯虏（删丹）、勒治（日勒）、揭虏（骊靬）、罗虏（番和）。官武为郡治。东汉光武帝建武三年（27年），刘秀令郡、县恢复旧名。张掖郡及所领8县复原名。献帝兴平元年（194年），属雍州。
三国魏国仍治觻得，领觻得、昭武、删丹、氐池、屋兰、骊靬、番和七县。
西晋张掖郡领4县：永平（觻得改名）、屋兰、临泽（昭武改名）、氐池。郡治为水平。北凉永安元年（401年），北凉沮渠蒙逊杀段业，自称凉州牧、张掖公、张掖为国都并为凉州治。不久为秦州治。北魏太延五年（439年）拓跋焘攻灭北凉，拓跋氏实行军事管制，建立军镇，改郡为军，改县为戍。张掖郡改为张掖军。孝明帝正光五年（524年），复为郡，属西凉州并为州治。
西魏废帝三年（554年），改西凉州为甘州。张掖郡属之并为郡治。隋文帝开皇三年（583年），罢张掖郡入甘州。大业三年（607年），罢甘州，置张掖郡，领3项：张掖、删丹、福禄。张掖（永平改。今在张掖市甘州区西北）为郡治。
唐武德元年（618年），张掖郡改称甘州，张掖县为治州。天宝元年（742年）又改甘州为张掖郡。领2县：张掖、山丹。德宗建中二年（781年）又改张掖郡为甘州。此后不复置。
