Als im Zuge der Verbreiterung der Kärtnerstraße ein Teil des Palais der neuen Baulinie geopfert werden sollte, ließ Adolf Josef Fürst Schwarzenberg das Palais 1894 demolieren. Die von ihm in Auftrag gegebenen nachfolgenden Mietshäuser waren 1897 fertig (Architekt A. Wurm-Arnkreuz). Bei den sieben Meter in die Tiefe gehenden Fundamentierungsarbeiten fand man damals zahlreiche menschliche Gebeine, ferner Tierknochen und römische Dachziegel.

Von diesen Mietshäusern wurde das Gebäude nächst der Kapuzinergruft 1944 zerbombt (Tegetthoffstraße 1), diesem folgte eine Parkhochgarage und dann das heutige Bürogebäude.