Als muzikant heeft hij samengewerkt met artiesten als Jackson Browne, Willie Nelson, Bruce Hornsby, Elvis Costello, Dolly Parton, Emmylou Harris, Charlie Haden, David Crosby, Levon Helm, Edie Brickell, Paul Simon, Patty Larkin, Susan Tedeschi, de Tedeschi Trucks Band, Steve Forbert, Kelly Willis, Donald Fagen, Ry Cooder, en Johnny Cash.
Als songwriter zijn meer dan 200 van zijn songs opgenomen door verschillende artiesten, waaronder Rosanne Cash, Shawn Colvin, Marc Cohn, Michelle Branch, The Tedeschi Trucks Band, Vince Gill, George Strait, Shelby Lynne, Patty Loveless, Jim Lauderdale, Joe Cocker en William Bell.
In 1988 produceerde en schreef hij mee aan Shawn Colvin’s Grammy winnende debuutalbum Steady On. Hij arrangeerde en speelde meerdere instrumenten op Marc Cohn’s hit “Walking in Memphis” uit 1991. In 1998 won hij een Grammy Award voor Record and Song of the Year voor het produceren en meeschrijven aan het nummer “Sunny Came Home” (een hit voor Colvin in 1997). Leventhal produceerde en schreef mee aan alle nummers op Rosanne Cash’s 2014 release The River & the Thread. Op 8 februari 2015 won The River & the Thread drie Grammy awards: Americana Album of the Year, Best American Roots Song voor “A Feather’s Not a Bird” en Best American Roots Performance voor “A Feather’s Not a Bird”.
Hij produceerde en schreef mee aan de meeste nummers op soulzanger William Bell’s 2016 Stax Records release This Is Where I Live, dat de 2017 Grammy won voor Americana Album of the Year. In 2018 produceerde Leventhal het nummer “Let My Mother Live”, mede geschreven met Marc Cohn en uitgevoerd door The Blind Boys Of Alabama; het nummer werd genomineerd voor een Grammy voor Best American Roots Performance. Het nummer “Crossing To Jerusalem” geschreven met Rosanne Cash werd genomineerd voor Best American Roots song voor de Grammy’s van 2019.
Leventhal heeft albums geproduceerd die genomineerd zijn voor in totaal 18 Grammy Awards.
In september 2015 ontving Leventhal de award van de Americana Music Association voor Instrumentalist van het Jaar.
Leventhal componeerde ook scores voor de films Winter Solstice (2004), en Big Stone Gap (2014).
John Leventhal’s songs worden vertegenwoordigd door Downtown Music Publishing.