Anlass zum Bau dieser Kapelle gab wohl die hier seit alter Zeit entspringende Quelle, deren Wasser der Erzählung nach, heilbringende
Wirkung gegen Augenleiden haben soll. Das Jahr der Erbauung der (einst hölzernen) Kapelle könnte die Jahreszahl 1695, die am Mauerbogen zum Altarraum angebracht ist, angeben. Die Erweiterung der Wallfahrtskapelle Kaltenbrunn zur jetzigen Größe erfolgte 1841, der Anbau des 29 Meter hohen Turmes im Jahr 1852. Als man zum 800-jährigen Bestehen der Pfarrei Gottsdorf (1075 – 1875) für die Pfarrkirche ein neues Geläute beschaffte, kamen zwei der alten Glocken nach Kaltenbrunn. Sie fielen dann dem zweiten Weltkrieg zum Opfer. Derzeit besorgt ein Glöcklein aus der früheren Jochensteiner-Kapelle und eine alte Glocke aus der Pfarrkirche Gottsdorf nur noch selten den beanspruchten Ruferdienst vom Turm.
Das frühere Holzschindeldach stand der Kapelle Kaltenbrunn im Wald gut an. Auch einer Specht-Familie gefiel und „schmeckte“ das Dach gut. Sie trommelte unbekümmert auf das Schindeldach ein, so dass Loch um Loch entstand und Regenwasser durch das Dach eindringen konnte. Später wurde ein Eternitdach aufgesetzt, das im Jahr 2020 durch ein Kupferdach ersetzt wurde, da bei einem Sturm im Jahr 2019 ein Baum auf die Kapelle stürzte.
Über viele Jahre hatte man in der Kapelle mit aufsteigender Feuchtigkeit zu kämpfen. Daher entschloss man sich, den Quellabfluss von der Kapelle heraus und tiefer zu legen. Im Jahr 2020 wurde bei der Generalsanierung der Kapelle, die Quelle auf der Südseite neu gefasst und zum jetzigen Brunnen geleitet.
