Erbaut 1389 von Zacharias dem Haderer und seinen Söhnen und anschließend an den Fürstbischof zu Passau übereigneten. Die Burg diente während des Salzhandels nach Böhmen auf dem Goldenen Steig als Überwachung und zur Absicherung des Fürstbistums. 1806 fiel die Burg an das Königreich Bayern, woraufhin über die Jahre die Besitzer weiter wechselten. 1966 wurde die Burg Kaltenstein von Karl Bachl erworben und restauriert.
