Le nom de Ca' d'Oro, soit « casa dorata », signifie maison d'or, car auparavant l'actuelle façade en marbre blanc donnant sur le Grand Canal était recouverte de feuilles d'or et de fresques peintes au lapis-lazuli. À la mort de Marino Contarini, le palais revient à son fils en 1454, puis, passant de main en main, il fut loué puis fractionné en 1791 pour finir, hélas, à l’abandon. En 1846, il est racheté par le prince russe Alexandre Troubetskoi, qui l'offre à la danseuse étoile Maria Taglioni (la première au monde à instaurer les pas de danse sur les pointes, avec des chaussons garnis de liège au bout). Cependant, celle-ci confie la restauration du palais à l'architecte G. Battista Meduna, qui, selon les désirs de la danseuse, procédera à de grandes modifications, allant jusqu'à faire enlever de la cour le puits magnifiquement sculpté, ainsi que l’escalier de la même cour. Les dégâts seront réparés en 1895 par le nouveau propriétaire, le baron Giorgio Franchetti, qui lui redonna son aspect originel, sauf l’or et les couleurs de la façade.
En 1916, le baron donna sa collection privée de peintures et l'édifice à l'État.
