Sowohl die Markgrafen als auch die Barone von Aufseß weilten zur Jagd in Obernsees. Das Pfarrhaus diente ihnen dabei als "Jagdschlösschen". Zu dieser Zeit wurde auch die barocke Gartenanlage geschaffen, die aber im Laufe der Jahre verfiel. Durch den Verschönerungsverein Obernsees wurde 1989 der Barockgarten mit dem Pavillon wieder hergerichtet und ist heute für die Öffentlichkeit jederzeit zugänglich.