Carlo Rubbia nasce a Gorizia il 31 marzo 1934, figlio di un ingegnere elettronico e di una insegnante di una scuola elementare. Si iscrive ai test di ammissione alla Normale di Pisa, ma non rientra nel ristretto numero di eletti, quindi si iscrive alla Facoltà di Ingegneria di Milano, ma il destino vuole che riprenda la via per la Scuola di Pisa dopo pochi mesi, grazie ad un posto rimasto vacante.

Presso la facoltà di Fisica toscana, si laurea con una tesi sugli esperimenti compiuti sui raggi cosmici, nel 1957, quindi inizia a collaborare con il suo relatore, il Professor Conversi, realizzando in questo periodo il primo rilevatore di particelle di gas.

Nel 1958 è ospite alla Columbia University, dove approfondisce gli studi sugli acceleratori di particelle.

Carlo Rubbia entra a far parte del CERN nel 1960, presso il quale si occupa di ricerca e sviluppo del Ciclotrone di Nevis sulle particelle elementari, del decadimento e la cattura nucleare dei mesoni. Promuovendo vari esperimenti, nel 1976, modifica un acceleratore SPS, allo scopo di far collidere le particelle protone-antiprotone aumentando l'energia prodotta: crea il collisionatore col quale nel 1983 scopre le particelle che sono responsabili dell'interazione debole, portando alla luce questa innovazione grazie anche al suo team di 100 scienziati, chiamato la UA1 Collaboration.

Nel 1984 riceve il Nobel insieme al suo collega Simon Van der Meer, mentre sta già progettando il LEP, un immenso collisionatore a elettroni e positroni.

Dal 1971 al 1988 insegna Fisica presso l'Harvard University (dove anche Higgins è Professore di Fisica), quindi dirige il CERN di Ginevra dal 1989 al 1993; dal 1994 dirige l'International Center for Theoretical Physics di Trieste; sempre nel capoluogo friulano crea il Laboratorio Luce di Sincrotrone, che utilizza fasci di particelle per esaminare, a livello sub-microscopico, la struttura dei materiali ma anche dei virus e delle proteine.

Nominato Presidente dell'ENEA nel 1999 è stato presidente fino al 2005.

Professore ordinario di Complementi di Fisica Superiore all'Università di Pavia, collabora dal 2006 con il Centro di ricerca sull'energia, l'ambiente e la tecnologia (CIEMAT), organismo spagnolo, per lo sviluppo del "solare termodinamico", alternativo al sistema fotovoltaico.

Alla fine del 2006 rientra a far parte dell'elite scientifica italiana, grazie all'attuazione del suo progetto "Archimede" e viene nominato Consigliere per le energie rinnovabili del Ministro dell'Ambiente.

Sposato con Marisa, professoressa di Fisica al Liceo, ha due figli: Laura, medico, e André, studente in Ingegneria Fisica. Alla fine del mese di agosto 2013 il Presidente della Repubblica Giorgio Napolitano nomina Rubbia senatore a vita.