在卡鲁塞尔广场前面,还有一大片的花园,称为杜伊勒里花园。在这片花园上曾经有一座精美的建筑——杜伊勒里宫。它是1559年法国国王亨利二世去世后,其遗孀卡特琳·德·美第奇决定搬出亡夫居住的卢浮宫,在卢浮宫西面约250米处另建新宫。杜伊勒里宫的设计师为菲利贝·德·洛梅(Philibert de l'Orme),参考了意大利文艺复兴时代的宫殿建筑,将布局设计成南北向的长条形宫殿。杜伊勒里宫多次作为皇宫,包括著名的拿破仑和拿破仑三世。但是这座精美的宫殿却由于巴黎公社的失败而遭到焚毁。由于存在大量关于杜伊勒里宫内部房间结构、陈设、布置的图片资料,重建工作面临的技术困难非常小。同时宫中原始的家具、油画和其他陈设物品也保存完好。目前法国政府正在考虑是否重修杜伊勒里宫。