Esordisce giovanissimo nel 1972 come chitarrista cantante con i Semiramis, gruppo progressive con i quali pubblica un album. L’anno seguente il gruppo si scioglie e Michele entra per breve tempo nei Rovescio della Medaglia, altro importante gruppo dell’avanguardia musicale di quel periodo. Negli anni successivi si apre anche al mondo della musica pop pubblicando nello stesso periodo i primi due singoli da solista, con il nome d’arte (imposto dai discografici dell’epoca) di Andrea Zarrillo. Nel 1979 torna al suo vero nome e vince il Festival di Castrocaro con Indietro no, e compone le musiche di Sesso o esse per Renato Zero e Ricetta di donna per Ornella Vanoni (incisa anche da Roberto Vecchioni).

Nel 1982 partecipa al Festival di Sanremo con il brano “una rosa blu” e nel 1987 con “la notte dei pensieri”.

Nel 1990 inizia una collaborazione con Alessandro Colombini, produttore storico della musica italiana (Battisti, Bruno Lauzi, PFM, Bennato, Dalla, Venditti) con il quale dà vita ad una collaborazione che porta alla realizzazione dell’album Adesso, preceduto dalla partecipazione al Sanremo con il brano “Strade di Roma”. Al Sanremo 1994 Michele Zarrillo presenta il brano Cinque giorni, che ottiene un buon consenso popolare e di vendite e che viene incluso nell’album Come uomo tra gli uomini. Due anni dopo vi partecipa ancora con “L’elefante e la farfalla”. Il successivo lavoro, L’amore vuole amore (ottobre 1997), raccoglie tutte le più importanti canzoni di Michele con l’aggiunta di due brani inediti (L’amore vuole amore e Ragazza d’argento) e di tre remake, pubblicato in Spagna col titolo “Cinco dias”.

Nel giugno 2000 Michele Zarrillo pubblica il nuovo album dal titolo Il vincitore non c’è. Nel corso di un tour teatrale, Michele compone L’acrobata, che viene presentato a Sanremo 2001. Intanto, il cantante decide di incidere il suo primo album dal vivo. Registrato nel corso di due concerti tenuti a Roma e Firenze, nel 2002 esce Le occasioni dell’amore, con l’aggiunta di tre inediti. L’anno successivo viene pubblicato Liberosentire.

Nel 2006 pubblica il CD L’alfabeto degli amanti e lo stesso anno partecipa al 56º Festival di Sanremo, presentando l’omonimo brano, il quale arriva in finale. Una delle serate prevede un duetto con il cantante Tiziano Ferro. Nel 2008 partecipa ancora al Festival di Sanremo con un brano dal titolo “L’ultimo film insieme”. Segue la pubblicazione dell’album Nel tempo e nell’amore, una raccolta dei successi dal 1981 al 2008, in due CD, contenente un inedito. Nel maggio 2009 esce Michele Zarrillo Live – Roma, un cd più DVD frutto del concerto del 30 maggio 2008 al Palalottomatica di Roma. Il lavoro contiene il brano inedito L’amore infinito. Nel 2009 ha cantato nel disco diClaudio Baglioni “Q.P.G.A.”, nella canzone “Nuvole e sogni”. Il 20 settembre 2011 viene pubblicato l’album di inediti Unici al mondo.