Вважається, що середнянський замок був зведений тамплієрами у ХІІІ ст. Існує також версія, що те, що є у Середньому зараз, не замок тамплієрів, а більш пізня споруда XVI століття (лише у цей період замок згадується вперше у джерелах). А замок тамплієрів начебто був розташований неподалік сучасних руїн на пагорбі, де зараз є цвинтар.

Руїни середнянського замку не схожі, власне, на замок через свої невеликі розміри (18,6 х 16,5 м). Насправді, це донжон. Так називається головна, найбільш укріплена вежа замку. Тобто це тільки частина фортеці. Донжони в Угорщині характерні для XIV-XV століть, що теж непрямо, але підтверджує не «тамплієрське» походження середнянського замку.

Середнє. Замок, ХІІ ст.

Занепад замку розпочався не зараз, а ще з початку XVII ст., коли він вже не відігравав своєї ролі. Цікаво, що у 1711 р., після повстання Ференца Ракоці, австрійська влада вирішила зруйнувати угорські замки, щоб у подальшому різні повстанці не змогли ними скористатися. Після цього, в тому числі, перетворилася на руїни і середнянська твердиня. (Все ж таки після цього дуже багато замків в Угорщині залишилося; і після антигарсбурзького повстання 1848-1849 ще були накази їх руйнувати).

Зараз скромні залишки донжону стоять серед приватних середнянських дворів, у заростях бур’яну. Знайти споруду дуже легко, тому що до неї ведуть дороговкази.