Dworek w Górkach pochodzi z XVI wieku. Wzniesiono go na planie prostokąta, z wieżą w północno-wschodnim narożniku. W 1850 roku budynek został gruntownie przebudowany. Dwór – jako jeden z nielicznych w Prusach Wschodnich- należał do polskich właścicieli, państwa Kowalskich od 1910 roku. Z chwilą, gdy ogłoszony został plebiscyt, stary dworek w Górkach stał się ośrodkiem polskości. W maju 1920 roku Kowalscy gościli u siebie Stefana Żeromskiego, Jana Kasprowicza oraz dziennikarza Władysława Kozickiego. „Na oścież nam się otwarły podwoje polskiego domu” – pisał w wierszu Jan Kasprowicz. Po przegranym plebiscycie dwór nadal pozostał ośrodkiem polskości i z tego powodu właściciele byli szykanowani przez władze pruskie. W 1934 roku zostali wysiedleni z terenów Powiśla, a w 1937 roku majątek przeszedł w ręce niemieckie. Po wojnie w Górkach utworzono PGR, a w dworku urządzono biura, a następnie pomieszczenia mieszkalne. Budynek stopniowo ulegał degradacji. Obecnie mieści się tu Centrum Rehabilitacji Osób Niepełnosprawnych.