1927年11月16日出生于山东济宁。幼时家庭生活拮据,靠哥哥做店员维持生活。高中期间当过小学教员。 1946年春经共产党地下工作者的引荐,秘密进入晋冀鲁豫边区的北方大学就读,开始在报刊发表诗歌和小说,还写过秧歌剧。
1948年毕业于晋冀鲁豫边区北方大学艺术学院。乔羽被调入华北大学三部创作室,开始专业创作。
1949年加入中国共产党。
1954年加入中国作家协会。
1955年创作歌词《让我们荡起双桨》。
1956年与时佑平合作创作电影文学剧本《红孩子》。
1959年创作歌词《人说山西好风光》。
1960年将1959年广西柳州彩调剧团原创的彩调剧《刘三姐》改编成电影剧本《刘三姐》。同年创作歌词《我的祖国》。
1963年开始创作歌词《思念》,并于1988年发表;同年在中央电视台春节联欢晚会上,由毛阿敏演唱。
1964年参加了音乐舞蹈史诗《东方红》诗词部分的写作。粉碎四人帮后,与树园等合作创作了话剧《杨开慧》并继续创作了歌词。历任文化部、中国戏剧家协会、中国歌剧舞剧院专业创作干部,中国歌剧舞剧院副院长、院长,一级编剧。
1980年创作《牡丹之歌》的歌词。
1984年创作歌曲《难忘今宵》的歌词;同年该歌曲在中央电视台春节联欢晚会上,由李谷一演唱,之后该歌曲在中央电视台春节联欢晚会上被多名歌手演唱。
1997年创作《大风车》栏目主题曲歌词《大风车》。
20世纪90年代初创作歌词《爱我中华》。
2009年5月,出席CCTV全国优秀流行歌曲创作大赛总决赛。[7]
2010年4月9日担任北京大学歌剧研究院名誉院长。[1]
2015年10月31日《我的祖国——乔羽作品音乐会》在北京举行。
2022年1月11日,参加的2022南山新年音乐会播出,与刘炽演唱《我的祖国》。[8]