Tähtitornin kahvila on rakennettu Oulun linnan raunioille jääneen ruutikellarin päälle. Linna oli puurakenteinen, pieni nelitorninen puolustuslinnake, joka valmistui pian Oulun perustamisen (1605) jälkeen.

Linna tuhoutui heinäkuussa 1793 kun salamanisku räjäytti ruutikellarin ja siten koko rakennuksen.

Ruutikellari tehtiin raunioihin uudelleen, ja vuonna 1875 ruutikellarin päälle rakennettiin Oulun Merikoulun tähtitorni. Merikoulu tarvitsi sitä astronomian opetusta varten.

Kun Oulun merenkulku hiipui ja sitä myöten myös tarpeettomaksi käynyt merikoulu lakkautettiin, Tähtitornissa avattiin kesäkahvila. Siinä se on toiminut vuodesta 1912 lähtien. Sodan aikana kahvilasta huolehtivat lotat.