Sultan Abdülaziz, 1869 yılında dört katlı bir konağın bulunduğu bu araziyi Aziz Vincent de Paul’ün Yardımsever Kızları cemiyetine, yetimhane olarak kullanılması şartıyla tahsis etmiş. Saint-Joseph Fransız Yetimhanesi aynı sene, bitişiğindeki Saint Eugène ilkokuluyla birlikte kapılarını açmış. Her iki kurum da 1937’ye kadar faaliyette kalmış. Yapının durumunun zamanla kötüleşmesi ve mülkiyetine ilişkin hukuki süreçler sonucu bina bir süredir kullanılamıyor. Binayı çevreleyen, geçmişte içinde bostanı, kuyuları, terasları ve akan su kaynaklarının olduğu bilinen bahçe, günümüzde Beyoğlu Belediyesi tarafından “Tophane Mekân” adıyla kamuya açılmış bir sosyal tesis olarak işlev görüyor.