Jako muzyk współpracował z takimi artystami jak Jackson Browne, Willie Nelson, Bruce Hornsby, Elvis Costello, Dolly Parton, Emmylou Harris, Charlie Haden, David Crosby, Levon Helm, Edie Brickell, Paul Simon, Patty Larkin, Susan Tedeschi, the Tedeschi Trucks Band, Steve Forbert, Kelly Willis, Donald Fagen, Ry Cooder i Johnny Cash.
Jako autor piosenek, ponad 200 jego utworów zostało nagranych przez różnych artystów, w tym Rosanne Cash, Shawn Colvin, Marc Cohn, Michelle Branch, The Tedeschi Trucks Band, Vince Gill, George Strait, Shelby Lynne, Patty Loveless, Jim Lauderdale, Joe Cocker i William Bell.
W 1988 roku wyprodukował i współtworzył nagrodzony Grammy debiutancki album Shawn Colvin – Steady On. W 1991 roku zaaranżował i zagrał na wielu instrumentach w przeboju Marca Cohna „Walking in Memphis”. W 1998 r. zdobył nagrodę Grammy w kategorii Record and Song of the Year za produkcję i współautorstwo piosenki „Sunny Came Home” (hitu Colvina z 1997 r.). Leventhal wyprodukował i współtworzył wszystkie piosenki na wydanym w 2014 roku przez Rosanne Cash albumie The River & the Thread. 8 lutego 2015 roku The River & the Thread zdobył trzy nagrody Grammy: Americana Album of the Year, Best American Roots Song za „A Feather’s Not a Bird” i Best American Roots Performance za „A Feather’s Not a Bird”.
Wyprodukował i współtworzył większość piosenek na wydanym w 2016 roku przez Stax Records soulowym wydawnictwie Williama Bella This Is Where I Live, które zdobyło w 2017 roku nagrodę Grammy za Americana Album of the Year. W 2018 roku Leventhal wyprodukował piosenkę „Let My Mother Live”, napisaną wspólnie z Markiem Cohnem i wykonywaną przez The Blind Boys Of Alabama; piosenka została nominowana do nagrody Grammy w kategorii Best American Roots Performance. Utwór „Crossing To Jerusalem” napisany wspólnie z Rosanne Cash został nominowany do nagrody Grammy 2019 w kategorii Best American Roots song.
Leventhal wyprodukował albumy, które były nominowane łącznie do 18 nagród Grammy.
We wrześniu 2015 roku Leventhal otrzymał nagrodę Americana Music Association dla Instrumentalisty Roku.
Leventhal skomponował również partytury do filmów Winter Solstice (2004), oraz Big Stone Gap (2014).
Piosenki Johna Leventhala reprezentowane są przez Downtown Music Publishing.
Wydawnictwo Downtown Music Publishing.