A Ilha Fiscal foi primeiramente denominada Ilha dos Ratos. O nome se referia ao grande número de ratos que teriam vindo fugidos das cobras da Ilha das Cobras. Havia, numa outra versão, umas pedras cinzentas espalhadas pela ilha que se assemelhavam a ratos, à distância.

O castelo da Ilha foi projetado pelo engenheiro Adopho José Del Vecchio, para o Ministério da Fazenda que pretendia ter ali um posto aduaneiro. Del Vecchio, que era diretor de obras do ministério, elaborou um projeto em estilo néo-gótico com inspiração nos castelos do século XIV, em Auvergne, na França. O projeto foi agraciado com a Medalha de Ouro na exposição da Escola Imperial de Belas, e foi elogiado pelo Imperador “como um delicado estojo, digno de uma brilhante jóia”, referindo-se a sua privilegiada localização e a beleza da Baía da Guanabara. O prédio da Ilha Fiscal foi inaugurada no início de 1889 pelo imperador

O famoso baile da Ilha Fiscal, foi um evento em homenagem à tripulação do couraçado chileno Almirante Cochrane, para cerca 5 mil convidados. Com essa recepção, o Império reforçava os laços de amizade com o Chile, bem como tentava reerguer o prestígio da Monarquia, bastante abalado pela propaganda republicana.
A maior festa até então realizada no Brasil ocorreu pouco após a inauguração da ilha.
Falou-se muito da música (valsa e polca), e do cardápio (uma imensa quantidade de garrafas de vinho e comidas exóticas) dessa festa. O comportamento dos participantes foi largamente explorado (a imprensa da época - sec. XIX – noticiou que peças íntimas foram encontradas na ilha depois da festa), curiosidades que ainda atraem historiadores hoje. O luxo e as extravagâncias com que se apresentaram os convidados geraram todo tipo de comentários.