Gossau ist eingebettet zwischen Alpstein und Bodensee und vor den Toren der Kantonshauptstadt gelegen. Das gesamte Gebiet der Stadt hat eine Fläche von 2'751 Hektaren. St. Gallen und Gaiserwald im Osten, Waldkirch und Andwil im Norden, Niederbüren, Oberbüren und Flawil im Westen sowie Herisau im Süden haben gemeinsame Grenzen mit Gossau.

Während der Eiszeit hat ein Ausläufer des Rheingletschers eine flache Decke vor der Sitterschlucht bis gegen Wil aufgeschüttet. Beim Abschmelzen hinterliess der Gletscher eine Reihe von Wallmoränen. Deren Reste erkennt man zum Beispiel an den Hügeln, welche die drei Schulhäuser im Norden von Gossau tragen. Andere Zeugen der Eiszeit sind sogenannte Drumlins (Gletscherschutthügel); eine Reihe dieser langgestreckten rundlichen Erhebungen zieht sich von Arnegg gegen Niederbüren und Waldkirch. Im Süden flankieren die Hügel des Appenzellerlandes die langgestreckte Mulde, in der Gossau liegt.

Die Schmelzwasser der Eiszeit füllten die Gossauer Ebene mit einer gewaltigen Menge von Sand und Kies. Im Kies versickerte das Wasser. Wegen der undurchdringlichen Molasse fand es keinen Weg nach unten und bildet bis heute ein ergiebiges Grundwasservorkommen.

Die Schwellenhöhe des Bahnhofs Gossau beträgt 638 m ü. M. Der tiefste Punkt des Stadtgebietes liegt bei der Henessenmühle auf 570 m. Den höchsten finden wir südlich im Roserwald in der Nähe des Schochenberges auf 820 m ü. M..