John Robert Cocker nasce il 20 maggio del 1944 a Sheffield, figlio di Harold e Madge. La sua prima esperienza come cantante in pubblico risale all'adolescenza: a dodici anni canta in compagnia di Victor, suo fratello più grande, e del suo gruppo skiffle. Nel 1960 Joe Cocker forma la sua prima band, i Cavaliers, insieme con tre amici. Dopo un anno, però, il gruppo si scioglie: lascia la scuola per diventare un apprendista tecnico del gas e contemporaneamente inseguire il sogno della musica.

Nel 1961 prende lo pseudonimo di Vance Arnold e suona con i Vance Arnold and the Avengers (il nome è una fusione di Vince Everett, personaggio di Elvis Presley in "Jailhouse Rock", e del cantante country Eddy Arnold). Il gruppo si esibisce soprattutto nei pub di Sheffield, suonando cover di Ray Charles e Chuck Berry. Nel 1963, però, ha l'opportunità di salire sul palco per aprire, al Sheffield City Hall, un concerto dei Rolling Stones. L'anno successivo Cocker firma un contratto come solista con la Decca, e pubblica il suo primo singolo: "I'll cry instead", una cover dei Beatles che si avvale della presenza di Jimmy Page e Big Jim Sullivan alle chitarre. Il singolo, tuttavia, si rivela un flop, e il contratto con la Decca, alla fine del 1964, non viene rinnovato.

A quel punto Joe forma il gruppo Joe Cocker's Big Blues, una band che tuttavia ottiene poca fortuna. Abbandonato per un anno il mondo della musica, torna a esibirsi con Chris Stainton, dando vita alla Grease Band. I concerti tenuti nei locali di Sheffield richiamano l'attenzione di Denny Cordell, produttore di Georgie Fame: Joe Cocker con lui registra il singolo "Majorine". Trasferitosi a Londra insieme con Stainton dopo aver sciolto la Grease Band, il cantante conquista il successo con il riarrangiamento di "With a little help from my friends", pezzo dei Beatles con cui ottiene la Top Ten nelle classifiche di vendita dei singoli in Gran Bretagna, arrivando addirittura al numero uno nel novembre del 1968.

Dopo un tour nel Regno Unito al seguito degli Who di Pete Townshend, Cocker e compagni attraversano l'oceano per esibirsi negli Stati Uniti nella primavera del 1969. Nel corso del viaggio americano, l'artista partecipa a diversi festival, inclusi il Newport Rock Festival e, soprattutto, Woodstock. Poco dopo Joe Cocker pubblica l'album "Joe Cocker", che contiene le canzoni dei Beatles "Something" e "She came in through the bathroom window". Il disco raggiunge l'undicesimo posto nelle classifiche statunitensi, mentre Joe partecipa, tra l'altro, al "The Ed Sullivan Show". Alla fine del 1969, intenzionato a non intraprendere un nuovo tour negli Usa, decide di sciogliere la Grease Band. E' tuttavia costretto a tornare in America per obblighi contrattuali, e così deve ricostituire in fretta e furia una nuova band. Assolda, quindi, oltre trenta musicisti, tra cui il pianista Leon Russell e la corista Rita Coolidge, dando vita ai Mad dogs and Englishmen, dall'omonima canzone di Noel Coward.

Benché il tour si riveli un successo (quasi 50 città attraversate, apprezzamenti su "Life" e su "Time"), esso si rivela alquanto stancante: Cocker inizia a bere alcolici in quantità eccessiva, e così nel maggio del 1970 la tournée viene interrotta. Dopo aver passato alcuni mesi a Los Angeles, torna a casa a Sheffield, dove viene accolto dalla sua famiglia, preoccupata per il suo deterioramento fisico e addirittura per la sua salute mentale. Nel 1972, dopo essere stato lontano dalla musica per quasi due anni, intraprende un nuovo tour con una band costituita da Chris Stainton. Si esibisce, tra l'altro, davanti a 10mila persone al Madison Square Garden di New York, ma anche a Milano e in Germania.

Nell'ottobre del 1972 viene arrestato in Australia, insieme con sei membri del suo entourage, dopo essere stato trovato in possesso di marijuana: la polizia federale gli concede 48 ore di tempo per abbandonare il Paese, tra le proteste dei fan. Poco dopo, Cocker cade in depressione, e inizia a fare uso di eroina; nel 1973 riesce a smettere, ma continua a bere alcolici pesantemente. Alla fine dell'anno torna comunque in studio di registrazione per "I can stand a little rain", il nuovo album che verrà pubblicato nell'agosto dell'anno successivo. Il disco ottiene recensioni positive, che tuttavia vengono annullate e penalizzate dalle performance live di Joe, sempre più scadenti a causa dei suoi problemi con l'alcol.

Nel gennaio del 1975 pubblica "Jamaica say you will", album che non conquista riscontri particolarmente positivi. Nel 1976, anno in cui si esibisce al "Saturday Night Live" insieme con John Belushi, Cocker ha un debito di 800mila dollari nei confronti della A&M Records, ed è sempre impegnato a sconfiggere l'alcolismo: riuscirà a farlo grazie all'aiuto del produttore Michael Lang. Negli anni Ottanta, Cocker continua a girare il mondo, ottenendo successo in Europa, negli Stati Uniti e in Australia. Nel 1982 registra con Jennifer Warnes il duetto "Up where we belong", che entra nella colonna sonora del film "Ufficiale e gentiluomo": il brano conquista addirittura un Academy Award per la migliore canzone originale.

Poco dopo Cocker viene nuovamente arrestato, questa volta in Austria, dopo essersi rifiutato di salire sul palco a causa di un ritorno audio non adeguato prima di un concerto. Tornato immediatamente in libertà, dà alle stampe gli album "Civilized man" e "Cocker" (quest'ultimo dedicato alla madre Madge). Una delle canzoni contenute nel disco, "You can leave your hat on", fa parte della colonna sonora del film "Nove settimane e mezzo" (1986, con Kim Basinger e Mickey Rourke) e diventa una super hit mondiale, destinata ad essere associata innumerevoli volte a filmati di spogliarelli.

Nel 1987 il suo disco "Unchain my heart" viene candidato a un Grammy Award. Nel 1988 Joe Cocker si esibisce alla Royal Albert Hall, e compare nel "The Tonigth Show"; suona addirittura per il presidente George Bush l'anno successivo. Ai Brit Awards del 1993 l'artista viene candidato come Best British Male, mentre l'anno seguente apre il Woodstock '94. Nel 2002 ha la possibilità di cantare a Buckingham Palace, con l'accompagnamento di Brian May e Phil Collins, in occasione della commemorazione del Golden Jubilee di Elisabetta II, mentre cinque anni più tardi recita nel film "Across the universe". Sempre nel 2007, gli viene concessa l'onorificenza Obe (Ordine dell'Impero Britannico).

Joe Cocker muore a Crawford (in Colorado, negli USA) il 22 dicembre 2014 all'età di 70 anni, a causa di un carcinoma polmonare.