Abercrombie s-a născut la Port Chester, lângă New York, în 1944 și a început să studieze chitara la vârsta de 14 ani. Inițial, el a practicat stilul rock.
Descoperirea lui Miles Davis şi Dave Brubeck l-a făcut pe chitarist să facă trecerea către genul jazz.
După patru ani de studiu la Berklee College of Music din Boston el şi-a început cariera alături de organistul Johnny 'Hammond' Smith, apoi s-a alăturat, în 1969, grupului Dreams, una dintre primele trupe de jazz-rock, cu bateristul Billy Cobham şi trompetistul Randy Brecker.
