Schloss Oberberg ist Gossaus ältester erhaltener Wohnbau. Schon im 11. Jahrhundert stand auf Oberberg eine erste Burg – vermutlich ca. 250 m nördlich des heutigen Schlosses.
Von diesem ersten Bau sind heute keine Überreste mehr erhalten. Die erste Festung am heutigen Standort datiert aus dem 13. Jahrhundert und wurde im Jahr 1262 erstmals in einer Urkunde erwähnt. Sie diente der Sicherung des fürstäbtischen Gebietes gegen den Bischof von Konstanz und die Grafen von Toggenburg.
In den Appenzellerkriegen wird sie 1406 erobert und eingeäschert, aber noch vor 1413 wieder aufgebaut. Der mittelalterliche Wehrturm ist auf Höhe des Wohnstocks mit den Symbolen der Abtei St.Gallen, der Grafen von Toggenburg und von Abt Diethelm Blarer von Wartensee geschmückt. Letzterer hatte 1545 dem Gebäude sein heutiges Aussehen verliehen. 1490 gelangte die Burg in den Besitz der Fürstabtei St.Gallen und erhielt die Bezeichnung Schloss. Bis 1789 wohnten die Obervögte des Fürstabtes auf dem Schloss und hielten dort Gericht.
Mit der Aufhebung der Klöster (1804) geriet das Schloss in Privatbesitz. Es diente der Reihe nach als Käserei, Stickerei, Steindruck-Werkstatt und Restaurant. 1924 erwarb die Genossenschaft Oberberg das Gebäude. Nach erfolgreicher Renovation brannten 1955 der Dachstuhl und die oberen Stockwerke ab. Mit einer grossen Sammelaktion wurde das seit 1927 dem eidgenössischen Denkmalschutz unterstellte Gebäude wieder aufgebaut und 1958 eingeweiht.
Innen- und Aussengestaltung
Die heutige Gestalt erhielt das Schloss unter Abt Diethelm Blarer von Wartensee im Jahre 1545. Der Grundriss wurde gegen Norden um 6m verbreitert und beträgt seit damals 15 x 15m. Der Anbau ist heute noch gut sichtbar, denn die neuen Mauern wurden mit feineren Steinen gebaut und fein verputzt. Der Wohntrakt wurde um zwei Stockwerke erhöht. Das neu gerichtete Walmdach wurde mit Ziegeln gedeckt. Das Schloss wurde in der Folge noch mehrmals renoviert aber auch verunstaltet. Die historischen Räume enthalten eine Schlosskapelle, ein kleines Museum, einen Gerichtssaal, verschiedene Stuben sowie eine Folterkammer mit historischen Gegenständen.