Dvorec Herberstein je skrit v dolini, a na ozki skalnati vzpetini nad reko, zato je stoletja preživel brez zavzetja ali večjih poškodb, v njem pa še danes živi 21. generacija družine Herberstein.
To je tista družina, v kateri se je rodil tudi Žiga, pravilneje Sigismund, katerega portret, skupaj z Valentinom Vodnikom, Žigo Zoisom in Janezom Vajkardom Valvasorjem, krasi strop vhodne avle Narodnega muzeja in je mladost preživel na starem gradu v Vipavi. Tu imajo njegov celopostavni portret.
Za razliko od večine ostalih gradov je tu zaposlen tudi Slovenec, ki nas je po gradu popeljal v maternem jeziku.
A ne le ogled gradu, krasen je tudi sprehod po ogromnih vrtnih površinah, zaradi katerega dvorec imenujejo tudi Vrtni dvorec Herberstien. Med njimi pa se skriva celo živalski vrt.