后凉龙飞二年（397年），秃发乌孤背叛后凉，自称大都督、大将军、大单于、西平王，建立南凉政权，攻克金城。吕光派窦苟攻打秃发乌孤失败，岭南羌胡纷纷投奔秃发乌孤，后凉诸多郡县也纷纷投奔秃发乌孤，南凉势力兴盛一时。
彼时北凉、西秦也早已建立，秃发乌孤便有吞并各方的图谋。等到后凉吕绍、吕篡攻打北凉之时，北凉段业向秃发乌孤求救，秃发乌孤派秃发利鹿孤与杨轨率军营救，加之段业固守不出，后凉只得退军。
秃发乌孤醉酒落马，不久之后便去世，其弟秃发利鹿孤继位，秃发利鹿孤迁都西平。后凉吕篡继位后攻打南凉，被秃发利鹿孤之弟秃发辱檀击败。吕篡又率军攻打北凉，秃发辱檀又进攻后凉姑孰。
南凉国力进入鼎盛时期，秃发利鹿孤改称河西王后，发兵攻打北凉，北凉沮渠蒙逊请和；之后南凉又攻打后凉，击败后凉吕隆。
秃发利鹿孤死后，秃发辱檀继位，称凉王，迁都乐都。后南凉被后秦攻灭之后，鉴于后秦的强盛，秃发辱檀向后秦称臣。没过几年，秃发辱檀又起兵反叛，恢复凉王，改元嘉平。
嘉平七年（414年），南凉饥荒，秃发辱檀率军攻打乙弗鲜卑，西秦乞伏炽磐趁机攻占南凉国都，秃发辱檀难以挽回局面，只得投降西秦，不久后便被毒死，南凉灭亡。
