Parmi toutes les résidences réalisées par le Bureau des Travaux du Ministère de la Maison Impériale, le bâtiment principal du musée, avec la décoration de ses salles principales conçues par des personnages clés de l’Art déco français comme Henri Rapin et René Lalique, est certainement le plus caractéristique, ce qui lui a valu d’être officiellement classé comme bien culturel important par l’État japonais en 2015.
Les jardins (ou teien en japonais, qui ont donné leur nom au musée) ont conservé leur apparence de l’époque où le terrain servait de résidence impériale. Les vastes étendues de pelouse et les reliefs du jardin japonais avec sa colline artificielle et son étang offrent un cadre idéal pour apprécier les charmes de la nature au fil des saisons, comme les cerisiers en fleur ou les feuillages d’automne.