I Believe in You è’ il primo singolo estratto dalla raccolta Ultimate Kylie nel dicembre 2004. Musica tipica hawaiana, dolce e gradevole. Anche questo song ha ricevuto notevoli consensi mondiali. Il singolo ha raggiunto la posizione numero due nel Regno Unito e al numero sei in Australia, piazzandosi al numero tre della Billboard Hot Dance Club ottenendo una nomination per un Grammy Award 2006 comew  migliore registrazione categoria Dance.