Nacido en septiembre de 1926 en la ciudad de Toyohashi, en la costa oriental del centro de Japón, Koshiba se graduó en la Facultad de Ciencias de la Universidad de Tokio y obtuvo su título de doctor en la universidad de Rochester (Nueva York, EE.UU.) en la década de los años 50 del siglo XX.
En los años 80 estableció un observatorio subterráneo en una mina de Kamioka, que actualmente conforma la ciudad de Hida tras su integración con Furukawa, conocido en japonés como Kamiokande, y destinado al estudio de los neutrinos solares y atmosféricos.
Docente durante más de una década en la Universidad de Tokio, donde tenía el título de profesor emérito, Koshiba recibió el Nobel de Física en 2002 junto a los estadounidenses Raymond Davis Jr. y Riccardo Giacconi por sus trabajos pioneros sobre astrofísica.
En el caso de los experimentos que realizaron por separado Koshiba y Davis Jr. sirvieron para demostrar la existencia de los neutrinos y capturar algunas de estas partículas subatómicas de una supernova, por parte del investigador japonés.
Sus descubrimientos abrieron el camino al establecimiento del campo de la investigación de la astronomía de neutrinos. La familia de Koshiba planea llevar a cabo un funeral en ámbito privado, según recogió NHK.