Berkovitza fut pendant l'époque romaine un lieu fortifié sur le chemin qui traversait le Balkan dans sa partie occidentale pour relier le sud (le champ de Sofia et la route vers Thessalonique) avec le nord (la plaine du Danube). Elle conserve aujourd'hui sur son territoire des traces de cette présence romaine.
Site de forteresse antique et médiévale Kaleto
Le site était connu des spécialistes encore au XIX siècle. Le voyageur Felix Kanitz fut le premier à le rapporter. Le grand géographe tchèque Konstantin Iretchek rapporte aussi des informations concernant de vestiges de fortifications aux environs de Berkovitza. Les fouilles archéologiques véritables ont commencé en 1961 et depuis le site est classé sous statut de monument du patrimoine historique. A ce jour sa majeure partie a été explorée.
Les études ont mis au jour un mur extérieur et un mur intérieur d'une fortification de la haute antiquité, reliés par des compartiments et pièces séparés. Le mur extérieur comprend deux basiliques. Les enceintes extérieure et intérieure sont larges de 1,3m, faites de pierre brute.
La porte d'entrée de la forteresse n'a pas été découverte à ce jour. Les archéologues supposent qu'elle se situait dans l'enceinte nord, entièrement détruite lors de la bataille de 1877 lorsque Berkovitza a été libérée par l'armée russe. A cette époque les ottomans avaient décidé de concentrer une forte ligne de défense d'artillerie à cet endroit et le mur a été détruit pour fournir du matériel de construction. Par ailleurs ceci fut le destin de nombreux sites romains ou byzantins, partout en Bulgarie.
Les deux basiliques sont datées de la période 408 - 421. L'une se trouve sur le versant sud et l'autre sur le versant est. Les fragments d'architecture laissent penser qu'elles étaient richement ornementées. Un temple séparé et consacré aux baptêmes les complète. Des fragments architecturaux ont été conservés : colonnes, chapiteaux ainsi que des objets de la vie quotidienne - objets en céramique, briques, outils de travail, armes, monnaies.
La forteresse a été vraisemblablement détruite durant le règne du byzantin Justinien et ne fut reconstruite que plus tard, lors du Second royaume bulgare. De cette période les archéologues ont découvert uniquement quelques murs isolés dans le secteur ouest du site ainsi qu'une fortification sur le point le plus élevé de la colline. Il s'agit d'une construction carrée dont les murs atteignent jusqu'à deux mètres. Des monnaies retrouvées ici permettent de la situer du temps du roi bulgare Ivan Sratzimir (XIV siècle). Durant le règne des Ottomans la forteresse ne fut plus utilisée et dépérit.
Dans la partie sud-est du site les archéologues ont trouvé des vestiges d'une habitation Thrace. Durant l'époque romaine le lieu vivait grâce à l'exploitation minière et la recherche d'or sur les lits des rivières proches. La fortification du site est intervenue durant la période entre le IV et le V siècle. Idéalement située, elle avait un contact visuel avec les autres forteresses situées le long des rivières Ogosta, Barzia, Botounya et Zlatitza.
Les bains
Appelés communément Bains romains, cette appellation ne fait que commémorer les bains antiques. Si en effet à cet endroit existaient des bains romains, l'édifice actuel correspond à des bains turques, construites en 1665 en place des thermes romains.
Le bâtiment revêt aujourd'hui une allure plutôt moderne, notamment la toiture et la finitions des murs.