1943年に高校を卒業した後、コルトレーンはアメリカ海軍に入隊、音楽隊で演奏。その後、1946年に除隊してフィラデルフィアに戻り、ディジー・ガレスピーのバンドに加入する。この経験が彼の音楽キャリアの出発点となり、才能を開花させる機会となった。1955年、コルトレーンはマイルス・デイヴィスのバンドに加入。デイヴィスのアルバム『Round About Midnight』などに参加。その後、コルトレーンは自身のバンドを結成し。彼のバンドには、ピアニストのセロニアス・モンク、ベーシストのジミー・ギャリソン、ドラマーのエルヴィン・ジョーンズなど、優れたミュージシャンたちが参加した。
コルトレーンは、モード・ジャズと呼ばれるスタイルの先駆者としても知られている。彼は、アルバム『Giant Steps』(1960年)や『My Favorite Things』(1961年)などのレコーディングで、モード・ジャズの要素を取り入れた作品を発表。また、彼の音楽はフリー・ジャズの要素も含んでおり、即興演奏における自由な表現を追求した。一方で、コルトレーンは音楽的な探求だけでなく、精神的な探求にも熱心だった。宗教的なテーマに取り組み、アルバム『A Love Supreme』(1965年)では、神への讃歌として知られる壮大な作品を制作した。コルトレーンは短い生涯だったが、その音楽はジャズの領域を広げ、数々のミュージシャンに大きな影響を与えた。彼は1967年7月17日に胆管癌を患い、40歳で帰らぬ人となった。