Cocker nació en Sheffield (norte de Inglaterra) el 20 de mayo de 1944 y sus primeros pasos en la música los dio allí con actuaciones en pequeños clubes de su ciudad natal.
Los ídolos musicales que marcaron su carrera desde sus inicios fueron negros: Ray Charles, Sam Cooke y Aretha Franklin.
Después de tocar la batería con los Cavaliers, se convirtió en el cantante de los grupos Gasborad y de Vince Arnold and the Avengers, con el que realizó una gira en la que compartió escenario con los Rolling Stones, Manfred Mann y Hollies.
En 1964 grabó su primer single con las canciones Georgia on my Mind, del maestro negro Ray Charles y I'll Cry Instead, de los Beatles John Lennon y Paul McCartney.
Cuatro años después tuvo su primer éxito con la versión de With a Little Help From my Friends, también de los Beatles, que le colocó en los primeros puestos de las listas de éxitos británicas y europeas.
Pero su consolidación como cantante llegó con el rodaje de Mad Dogsand Englishmen, con la que comenzó unas relaciones con el cine que se mantuvieron a lo largo de toda su carrera y que ha contribuido a muchos de sus éxitos más populares.
Durante los años sesenta y principios de los setenta sus canciones alcanzaron grandes éxitos.
Fue muy recordado como la “voz de Woodstok por su participación en dicho festival en 1969 en Estados Unidos, tres días de “música, paz y amor”.
En 1972, después de una gira de 65 conciertos en 57 días por estados Unidos, cayó en una gran crisis personal a consecuencia del alcohol y las drogas, que le apartó del mundo de la canción, hasta que reapareció en 1982 con la edición de su octavo álbum Sheffield Steel.
Pero el empujón definitivo se lo dio la interpretación de Up Where We Belong en la película An Officer and a Gentleman (1982) , cantada a dúo con Jennifer Warnes, por la que logro un Óscar.
Posteriormente completaría sus éxitos cinematográficos con temas como You can Leave your Hat on, escrita por Randy Newman e interpretada por Cocker en 9 1/2 Weeks (1985) o los álbumes Civilized Man (1984) ) y Cocker (1986).
Su canción Unchain my Heart de 1987 coronaría definitivamente su carrera.
Después siguieron One Night of Sin (1988), Joe Cocker live (1990) y Night Calls” (1991), con una nueva versión de la canción de los Beatles You've Got to Hide Your Love Away, además de otras realizadas especialmente para este disco por autores como Prince o Jeff Lyne.
En 1994 publicó Have a Little Faith y más tarde grabó Organic (1996) , Across from midnigh (1997) y luego No Ordinary World (2000).
En 2003 celebró sus 35 años en el mundo de la música con un doble álbum titulado The Ultimate Collection 1968-2003, en el que reunió más de 30 éxitos de su carrera.
Su siguiente trabajo, Heart and Soul se publicó en 2004 como un álbum de versiones de clásicos del soul, blues y rock de los sesenta, setenta, ochenta y noventa.
Tres años después grabó Hymn for my soul, colección de temas con un sabor clásico.
Cocker participó en diferentes festivales “emblemáticos”, además de en Woodstock, como en el de la isla de Wight en Gran Bretaña.
Sus últimos trabajos fueron el directo Live at Woodstock (2009), Hard Knocks (2010), que incluía nueve canciones inéditas, Icon (2011) (recopilatorio) y Fire it up (2012).
Destacó también su faceta humanitaria contribuyendo con su música a festivales como el homenaje a Nelson Mandela con motivo de su 70 cumpleaños o la conmemoración de la caída del Muro en 1989.
En estos últimos años dedicaba especial atención a su fundación Cocker Kids Foundation, para la ayuda a niños y jóvenes.