Come musicista, ha lavorato con artisti come Jackson Browne, Willie Nelson, Bruce Hornsby, Elvis Costello, Dolly Parton, Emmylou Harris, Charlie Haden, David Crosby, Levon Helm, Edie Brickell, Paul Simon, Patty Larkin, Susan Tedeschi, la Tedeschi Trucks Band, Steve Forbert, Kelly Willis, Donald Fagen, Ry Cooder e Johnny Cash.
Come autore, oltre 200 delle sue canzoni sono state registrate da vari artisti, tra cui Rosanne Cash, Shawn Colvin, Marc Cohn, Michelle Branch, The Tedeschi Trucks Band, Vince Gill, George Strait, Shelby Lynne, Patty Loveless, Jim Lauderdale, Joe Cocker e William Bell. Ha arrangiato e suonato più strumenti nel successo di Marc Cohn del 1991 “Walking in Memphis”. Nel 1998, vinse un Grammy Award per il disco e la canzone dell’anno per aver prodotto e co-scritto la canzone “Sunny Came Home” (un successo del 1997 per Colvin). Leventhal ha prodotto e co-scritto tutte le canzoni del disco The River 2014 di Rosanne Cash & the Thread. L’8 febbraio 2015, The River & the Thread ha vinto tre premi Grammy: Americana Album of the Year, Best American Roots Song per “A Feather’s Not a Bird” e Best American Roots Performance per “A Feather’s Not a Bird”.
Ha prodotto e co-scritto la maggior parte delle canzoni su This Is Where I Live del cantante soul William Bell, uscito nel 2016 per Stax Records, che ha vinto il Grammy 2017 per Americana Album of the Year. Nel 2018 Leventhal ha prodotto la canzone “Let My Mother Live”, co-scritta con Marc Cohn ed eseguita dai The Blind Boys Of Alabama; la canzone è stata nominata per un Grammy per Best American Roots Performance. La canzone “Crossing To Jerusalem” scritta con Rosanne Cash è stata nominata per la migliore canzone American Roots per i Grammy 2019.
Leventhal ha prodotto album che sono stati nominati per un totale di 18 Grammy Awards.
Nel settembre 2015, Leventhal ha ricevuto il premio della Americana Music Association come strumentista dell’anno.
Leventhal ha anche composto le colonne sonore dei film Winter Solstice (2004), e Big Stone Gap (2014).
Le canzoni di John Leventhal sono rappresentate da Downtown Music Publishing.