Como músico, trabalhou com artistas como Jackson Browne, Willie Nelson, Bruce Hornsby, Elvis Costello, Dolly Parton, Emmylou Harris, Charlie Haden, David Crosby, Levon Helm, Edie Brickell, Paul Simon, Patty Larkin, Susan Tedeschi, a Tedeschi Trucks Band, Steve Forbert, Kelly Willis, Donald Fagen, Ry Cooder, e Johnny Cash.
Como compositor, mais de 200 das suas canções foram gravadas por vários artistas, incluindo Rosanne Cash, Shawn Colvin, Marc Cohn, Michelle Branch, The Tedeschi Trucks Band, Vince Gill, George Strait, Shelby Lynne, Patty Loveless, Jim Lauderdale, Joe Cocker e William Bell.
Em 1988, produziu e co-escreveu o álbum de estreia vencedor do Grammy de Shawn Colvin, Steady On. Arranjou e tocou vários instrumentos no êxito de Marc Cohn, “Walking in Memphis” de 1991. Em 1998, ganhou um Grammy Award for Record and Song of the Year por produzir e co-escrever a canção “Sunny Came Home” (um sucesso de 1997 para Colvin). Leventhal produziu e co-escreveu todas as canções no lançamento de Rosanne Cash em 2014 The River & the Thread. A 8 de Fevereiro de 2015, The River & o Thread ganhou três prémios Grammy: Álbum Americana do Ano, Melhor Canção Americana de Raízes para “A Feather’s Not a Bird” e Melhor Performance Americana de Raízes para “A Feather’s Not a Bird”.
Produziu e co-escreveu a maior parte das canções no lançamento do cantor de soul William Bell’s 2016 Stax Records This Is Where I Live, que ganhou o Grammy 2017 para o Álbum Americana do Ano. Em 2018, Leventhal produziu a canção “Let My Mother Live”, co-escrita com Marc Cohn e interpretada por The Blind Boys Of Alabama; a canção foi nomeada para um Grammy de Melhor Performance de Raízes Americanas. A canção “Crossing To Jerusalem”, escrita com Rosanne Cash, foi nomeada para Melhor Raízes Americanas para os Grammys de 2019.
Leventhal produziu álbuns que foram nomeados para um total de 18 Prémios Grammy.
Em Setembro de 2015, Leventhal recebeu o prémio de Instrumentista do Ano da Associação Americana de Música.
Leventhal também compôs partituras para os filmes Winter Solstice (2004), e Big Stone Gap (2014).
As canções de John Leventhal são representadas pela Downtown Music Publishing.