L'on l'appelle la Caserne croisée (Krastata kazarma) et il s'agit d'un des édifices emblématiques de Vidin. Construite en 1800 à la place du jardin du Vieux sérail, elle abrita une division de janissaires (le corps d'élite le plus redoutable de l'armée ottomane). La caserne est édifiée en pierres massives et comprend une surface de 1 260 m², adoptant une forme de croix aux côtés égaux.
La caserne a subi de multiples transformations mais aucun plan d'origine n'est conservé. Il est fort probable qu'elle adoptait une forme différente à sa construction. A la libération de la Bulgarie elle servit de caserne pour l'armée bulgare. Chacune des 4 manches de la caserne possède une disposition intérieure différente. Ceci est également une conséquence des multiples réaménagements entrepris en fonction des besoins de ses occupants. Ainsi les escaliers reliant les deux niveaux de la caserne changèrent d'emplacement plus qu'une fois.
Ce qui impressionne à l'intérieur de la caserne sont les 4 piliers aux angles marqués, la galerie et l'effet produit par le niveau intermédiaire. Les 4 grands corridors de la caserne se rejoignent dans un hall, peut-être le plus représentatif du bâtiment.
La caserne de Vidin possède 4 cours intérieures. A une étape de son évolution la caserne se dota d'une tour à l'horloge, détruite plus tard. Depuis 1969 la Caserne croisée abrite une exposition ethnographique consacrée à la vie et aux coutumes de la région de Vidin dans la période allant de la fin du XIX siècle jusqu'aux années 1920. Sont exposés les métiers traditionnels, l'agriculture, la viticulture et l'industrie de pêche sur le Danube.
La Caserne croisée est placée sous statut de monument de la culture.
