1700-luvun lopulla rakennettu klassistinen rakennus oli yksi tuon ajan suurimmista asuintaloista Narvassa. Tuolloin sitä käytettiin varasto- ja asuinrakennuksena. 1800-luvun alkupuoliskolla rakennuksen sai Narvan komendantti paroni von Velio, jonka mukaan rakennus myös tunnetaan. Keisari Nikolai I majoittui talossa vuonna 1845. Paroni von Velion talo sai vuonna 1916 arkkitehti A. Vladovskin projektin mukaan uuden lisäosan ja ulkonäön, jotka ovat säilyneet suurimmalta osin näihin päiviin asti. Talo on eräs vanhimpia säilyneitä rakennuksia Narvan vanhan kaupungin alueella. Nykyään rakennuksessa toimii Narvan Vanalinnan (vanhan kaupungin) koulu. Kulttuurimuistomerkkien valtiollinen rekisteri