Urkundlich erwiesen ist, dass im Jahre 1218 der Johanniterorden in Latsch ein Spital führte, welches jedoch einem Feuer zum Opfer fiel. Im Jahre 1334 erhielt Heinrich von Annenberg vom Bischof Ulrich von Chur die Genehmigung eine Wohlfahrtsanstalt mit Kirche in Latsch zu erbauen. Aus eben dieser Wohlfahrtsanstalt entstand das sogenannte „Alte Spital“, welches bis ins Jahr 1975 als Altersheim diente. Im Jahre 1975 wurde das gegenüber dem „Alten Spital“ errichtete „Annenbergheim“ bezogen, welches in den Jahren 2000 bis 2002 zu einem Alten- und Pflegeheim umgebaut worden ist.
Mit dem Umbau des alten Spitalgebäudes in den Jahren 1986 bis 1991 wurden 6 Altenwohnungen, Personalwohnungen, sowie ein museales Archiv geschaffen, das in der Folge anderweitig untergebracht wurde. In den Jahren darauf konnte die Struktur mit der Eröffnung der Kindertagesstätte um eine weitere wichtige soziale Einrichtung erweitert werden.
Im Jahre 2012 erfolgte die Einhausung des Hauptgebäudes mit der gleichzeitigen Erweiterung und Erneuerung der bestehenden Zimmer. 2016 konnte der Garten der Sinne mit 13 Parkplätzen errichtet werden.
Alle Bauvorhaben wurden in Zusammenarbeit mit dem Landesamtes für Senioren und Sozialsprengel und den Gemeinden Latsch und Kastebell-Tschars durchgeführt. Stete umfangreiche Förderungen erhielt der ÖBPB Spitalfond zur Hl. Dreifaltigkeit Seniorenwohnheim Annenberg Latsch durch die Stiftung Südtiroler Sparkasse. Die heimischen Raiffeisenkassen Latsch und Kastelbell-Tschars, so wie auch die Volksbank haben sich immer wieder lobenswert für die Belange des Hauses eingesetzt.
Die Liegenschaften, welche erhalten geblieben sind, werden seitens des ÖBPB verwaltet und neben landwirtschaftlichen Gütern gehören dazu auch das Gebäude "Altes Spital" und natürlich die allseits bekannte "Spitalkirche" mit dem gotischen "Ledereraltar". Die aus den Liegenschaften erwirtschafteten Mittel werden gesetzmäßig zur Erhaltung der Liegenschaften und für die Umsetzung von außerordentlichen Bauvorhaben eingesetzt, um die Gestaltung des Grundtarifs für die SeniorInnen und deren Angehörige nicht zu belasten.