屡毁屡建的仿古园林

1942年日军侵占上海时，园内所有的摆设都被冲进来的日军士兵洗劫一空，花园也被占为兵营，这让爱财如命的黄金荣几乎痛不欲生。当时园内损失惨重，关帝庙、静观庐、内宅等建筑均被炸毁。所有成套的红木家具亦被日军强占，用18辆卡车偷运至吴淞码头，送到日本。黄金荣平时最爱把玩的宋、明瓷器被日军毁的毁，拿的拿。至于书画更被掠去无数，近代的就有任伯年的人物挂屏，刘春霖的寿字屏条，何绍基的字屏，李鸿章、吴昌硕和蔡元培等人的对联，王一亭的黄金荣像，慈禧太后的福字，翁同的匾额等。

残暴的日本侵略军在狼狈撤离时，纵火烧园，给黄金荣留下的是一片废墟。国民政府曾对战时损失展开调查，黄金荣递交的黄家花园损失报告达47页。由于国民政府放弃了对日赔偿要求，因此，黄金荣的赔偿要求也没能实现。令黄金荣万万想不到的是，他的黄家花园第二次竟毁在国民党军队的手里。1949年，国民党军队为阻止解放军进上海，竟在花园内修筑工事，园中的桂花树被砍伐殆尽。此后，黄家花园更趋荒芜，少人问津，直至1953年夏黄金荣死去，花园收归国有。

1957年5月，根据上海市城市规划建设管理局批文，黄家花园由上海市园林管理处辟为公园，政府拨款18万元予以重建。1958年8月1日，整修一新的公园正式向上海市民开放。因园内遍植桂花树，故更名为桂林公园。

“非常时期”期间，这里成了学习班，除了四教厅前石景平台上的一组汉白玉雕“八仙过海”像被毁外，其余建筑均未遭人为破坏。其间，园内职工还自发组织起来，把四教厅72扇折门上精雕的图纹用夹板封存，外面涂上朱漆，助其又逃过一劫，使整座建筑完好无损保存至今。