La branche Asaka de la famille impériale a été fondée en 1906 par le Prince Yasuhiko, huitième fils du Prince Kuni Asahiko. 

En 1922, alors qu’il servait à l’École supérieure de l’Armée de terre, le Prince Yasuhiko s’est rendu en France pour étudier les affaires militaires mais il a été blessé dans un accident de la circulation et son épouse, la Princesse Nobuko, s’est alors rendue à son chevet en France où ils ont séjourné jusqu’en 1925.

Leur séjour a coïncidé avec l’âge d’or de l’Art Déco en France. Fascinés par la beauté de ce style, le Prince et la Princesse ont décidé d’intégrer ses plus brillants éléments dans leur nouvelle résidence pour laquelle ils ont demandé à l’artiste français Henri Rapin de concevoir l’intérieur des pièces principales. 

L’architecte en charge de la conception du bâtiment, Gondo Yokichi, du Bureau des Travaux du Ministère de la Maison Impériale, avait, lui, été un étudiant passionné d’architecture moderne lors de sa formation en Europe.L’excellence de l’artisanat cultivé depuis toujours au Japon a en outre été mise à profit dans tous les aspects de la construction. La Résidence du Prince Asaka est donc une véritable œuvre d’art née de l’enthousiasme du Prince et de la Princesse, et du talent combiné des concepteurs, architectes et artisans français et japonais.

Même si elle fait aujourd’hui office de musée, aucun changement significatif n’a été apporté à son intérieur. En tant que bâtiment historique précieux incarnant précisément le style Art Déco et témoin de la réceptivité aux autres cultures qui a fleuri à Tokyo au début de l’ère Showa, la Résidence a été désignée comme bien culturel matériel par les autorités métropolitaines de Tokyo.