黄维被特赦后，还当上了政协委员，但他执拗的性格始终不改。

80年代初，要出一本以国民党军队的观点来看淮海战役的书，黄维就说要以国民党的观点来看，那么书名当中就不能再有淮海战役的字样，应该叫徐蚌会战。当该建议被否决了以后，黄维立刻干脆地回答说：那我不写了。没办法最后只好折中，在书名下面写了一个小注:国民党称之为“徐蚌会战”。

1985年，特赦10年之后，黄维专门重返了战犯管理所，他把这个让自己思想转变的地方，叫“第二故乡”。当时他不顾82岁的高龄，执意要在当年关押他的2号监室住了一晚上。

还有一次，黄维去参加黄埔将军们的聚会，遇见了当年阵前起义的“运周老弟”，黄维一见廖运周，当场扭过头去，不但不打招呼，还说:“这个廖运周，把我的部队都送掉了!”

当时杨伯涛（淮海战役时，任黄维兵团十八军军长）在座，就劝黄维说:“恩怨不要总记在心里，付之一笑就对了嘛!”

但黄维毫不买账，只冷冰冰送了杨一句话:“你付之一笑，我可笑不了!”

虽然黄维以顽固出名，但也是个记情记恩的人。

1977年10月，黄维在北京参加完国庆28周年观礼后，由小女儿黄慧南陪同，乘车南下参观考察。在参观南昌革命烈士纪念馆时，黄维突然看到墙上挂着方志敏的照片，不禁感慨万千。临走时，他提出:“我要去祭拜方志敏烈士墓!”

傍晚时分，黄维乘车赶到了方志敏烈士墓地。夕阳的余晖映照在上，“方志敏烈士”几个大字熠熠生辉。黄维伫立在墓前，久久不语，眼泪缓缓地滑落下来。他深深地吸了一口气，鞠了一躬，再鞠躬，三鞠躬，然后接过女儿递过来的鲜花，郑重地放在方志敏烈士的墓碑前。

1985年，黄维还曾赴罗店凭吊，一名当地的老者，认出了当年曾经在此率部浴血奋战的黄维，黄维愧疚的表示尽管当年打得很苦，但罗店终究还是丢了，老者安慰黄维说：“不能怪你们，我们知道，你们尽力了。”那一刻，黄维潸然泪下。

黄慧南回忆，倔强、孤傲的黄维在人前一般是很少落泪，据她亲眼所见，也仅寥寥可数几次而已。

还有一次是在北京火车站的站台上，特赦后的黄维与几个“同学”送别护送他们来京的管理所金源所长。

看着金源渐行渐远的身影，特别是那花白的头发，“冥顽不化”的黄维，忽然间老泪纵横，他感叹说:“金源那一头的青丝，就为了改造自己这样的战犯，竟不知不觉间染上了那么浓重的秋霜……”

尽管年事已高，身体衰弱，黄维仍然利用自己有许多门生故旧在台湾的优势，积极为祖国统一大业服务。

1986年7月16日，黄维秘密抵达香港，准备会见一位从台湾来的老部下，让他向蒋经国传递信息。

可是一觉醒来，四位台湾特务却闯上门来“策反”，公然要黄维不再回大陆，甚至说:“如果您担心去台湾会引起不良影响，也可以在香港定居，或去美国及其他地方。手续由我们全权办理，生活保证优裕，从您被俘之日起，补发您的薪俸，每月3000美元，直至终生。其他费用我们一律承担……”

黄维不等他将话讲完，就义正词严地说:“共产党对我不错也不薄，我不能辜负人家对我的恩情和希望。当然，我也绝不做对不起蒋校长的事情。否则，知恩不报反成仇，我黄某岂不大道不道!再说，我已八十有三，我的故乡、我的亲人都在大陆，我怎舍得离开呢?”特务们只好灰溜溜地离开了。

后来，黄维还是把一封附有本人照片的亲笔信，托人带给陈诚的遗孀谭祥女士。不久后，他收到了谭祥的回信。

1989年3月，黄维再次来到香港，与台湾方面的代表进行了多次长谈。台湾来人最后表示，决定邀请黄维以个人访旧的名义去台湾，以进一步商讨和敲定有关问题。

在获准赴台统战前，耿直的黄维并不讳言:“此行台湾，蒋先生的陵阙是要看的。”

有一次，黄维接受美国记者采访，被问到为什么又回到战场时，他平淡地说:“抗战结束后没有人想打仗，我也不想打。蒋介石教训我说内战非打不可，否则我们就死无葬身之地。我就没话讲了。他是我的老师，我的校长，我多年的长官，我只有听他的。”

记者随即又问:“那您觉得蒋介石这个人如何呢?”

黄维轻轻地瞥了他一眼，只说了一句:“他的那一套过时了，所以失败了。”纵观黄维一生，他即使不认可蒋介石的做法，认为他的失败是必然的，但也不在公开场合指责，即便他在接受了27年的改造之后也没有。

台湾派人还游说，让黄维任选合适的第三国定居，只要同意，不仅补发其被俘至今的所有中将薪水，此后还将继续按中将待遇发给生活费用。如此优惠的邀请，被黄维断然拒绝。

会谈期间，身体虚弱的黄维每隔两个小时就得服一次强心药剂，以保证精力充沛、神志清晰。

全国政协第八次会议即将在北京召开，黄维决定先回京参加会议。3月19日，他回北京后不顾旅途劳顿，径直到会场报到，并向有关领导汇报了此次香港行的收获。

不幸的是，当晚黄维心脏病复发，被紧急送往医院抢救。20日凌晨，黄维经抢救无效在北京逝世，终年85岁。