Como músico, ha trabajado con artistas como Jackson Browne, Willie Nelson, Bruce Hornsby, Elvis Costello, Dolly Parton, Emmylou Harris, Charlie Haden, David Crosby, Levon Helm, Edie Brickell, Paul Simon, Patty Larkin, Susan Tedeschi, la Tedeschi Trucks Band, Steve Forbert, Kelly Willis, Donald Fagen, Ry Cooder y Johnny Cash.
Como compositor, más de 200 de sus canciones han sido grabadas por varios artistas, entre ellos Rosanne Cash, Shawn Colvin, Marc Cohn, Michelle Branch, The Tedeschi Trucks Band, Vince Gill, George Strait, Shelby Lynne, Patty Loveless, Jim Lauderdale, Joe Cocker y William Bell.
En 1988, produjo y co-escribió el álbum debut de Shawn Colvin, ganador del Grammy, Steady On. Hizo los arreglos y tocó varios instrumentos en el éxito de Marc Cohn de 1991 «Walking in Memphis». En 1998, ganó un premio Grammy a la Grabación y Canción del Año por producir y coescribir la canción «Sunny Came Home» (un éxito de Colvin en 1997). Leventhal produjo y coescribió todas las canciones del lanzamiento de Rosanne Cash en 2014 The River & el Hilo. El 8 de febrero de 2015, The River & the Thread ganó tres premios Grammy: Álbum Americana del Año, Mejor Canción de Raíces Americanas por «A Feather’s Not a Bird» y Mejor Interpretación de Raíces Americanas por «A Feather’s Not a Bird».
Produjo y coescribió la mayoría de las canciones del lanzamiento de 2016 del cantante de soul William Bell en Stax Records, This Is Where I Live, que ganó el Grammy 2017 al Álbum Americana del Año. En 2018 Leventhal produjo la canción «Let My Mother Live», coescrita con Marc Cohn e interpretada por The Blind Boys Of Alabama; la canción fue nominada al Grammy a la Mejor Interpretación de Raíces Americanas. La canción «Crossing To Jerusalem», escrita con Rosanne Cash, fue nominada a Mejor canción de raíz americana para los Grammy 2019.
Leventhal ha producido álbumes que han sido nominados a un total de 18 premios Grammy.
En septiembre de 2015, Leventhal recibió el premio de la Americana Music Association al Instrumentista del Año.
Leventhal también ha compuesto las partituras de las películas Winter Solstice (2004), y Big Stone Gap (2014).
Las canciones de John Leventhal están representadas por Downtown Music Publishing.