Offenbar hatte sich Kaiser Karl IV. den Oybin als seinen Alterssitz ausgemalt. Das dürfte ein entscheidender Grund gewesen sein, warum er am 17. März 1369 eine Gründungsurkunde für ein Kloster auf dem Berg ausstellen ließ. Zu einem Zeitpunkt, wo er sich gar nicht in der Region aufhielt, sondern in Italien. Überliefert ist, dass er auf dieser Reise besonders inspirierende Kontakte mit den Cölestinern hatte. Jedenfalls stiftete er das neue Kloster diesem Orden. Den Plan, auf dem Oybin mehr als ein Kaiserhaus zu errichten, hatte er vermutlich schon früher gefasst. Bereits 1366 wurde mit dem Bau einer gotischen Kirche begonnen. Nicht von irgendjemanden, sondern von der berühmten Prager Dombauhütte Parler. Es dauerte 18 Jahre, bis die Kirche am 6. November 1384 geweiht wurde, als baulicher Glanzpunkt des Klosters. Wirkungsvoll und attraktiv ist der Kirchenbau noch heute, wenngleich als Ruine.