Hrad Lipovce vznikol po tatárskom vpáde na panstve Svinia rodu Meršeovcov. Zanikol v čase kuruckých vojen koncom 16. alebo začiatkom 17. storočia. V teréne sú okrem hradných zrúcanín na kóte Zámčisko dobre rozoznateľné aj priekopy na severnej a východnej strane.
Na hrade Lipovce prebehli v roku 2015 zameriavacie práce a v najbližšom období sa bude konzervovať terajší stav.
Zvyšky južnej veže respektíve hradného paláca dnes poskytujú pekný výhľad do Lačnovského kaňona.
Jediný zachovaný architektonický detial je okno v severnej veži.