Felix Ungar (Jack Lemmon) checkt in bij een sjofel hotel bij Times Square met de bedoeling zelfmoord te plegen door van de negende verdieping te springen, maar hij gooit zijn rug eruit terwijl hij het raam probeert te openen. Hij verlaat het hotel en hinkt langzaam verder, en probeert vervolgens dronken te worden terwijl hij naar Go-go dansers kijkt in het Metropole Café; hij bezeert uiteindelijk zijn nek wanneer hij zijn hoofd achterover gooit en een shot drinkt. Hij vertrekt, staat op een brug en overweegt in het water te springen.
Terwijl, in het frowzy Upper West Side appartement van de gescheiden sportschrijver Oscar Madison (Walter Matthau), is het een hete, vochtige zomeravond; Oscar en zijn maatjes Speed (Larry Haines), Roy (David Sheiner), Vinnie (John Fiedler), en politieagent Murray (Herb Edelman) hebben zich verzameld voor hun wekelijkse pokerspel. Murray is bezorgd omdat hun gemeenschappelijke vriend Felix ongewoon laat is voor het spel; Speed is geïrriteerd omdat hij verliest; Vinnie blijft vermelden dat hij om 12 uur moet vertrekken, en Roy klaagt over hoe heet, stinkend en rommelig het appartement is. Oscars koelkast doet het al twee weken niet meer en op een gegeven moment biedt hij hen bruine en groene boterhammen aan (“ofwel heel nieuwe kaas of heel oud vlees”). Murray’s vrouw belt en vertelt hem dat Felix vermist is. Oscar belt vervolgens Felix’ vrouw Frances, die hem meedeelt dat zij en Felix uit elkaar zijn. Terwijl Oscar en zijn vrienden overleggen wat ze moeten doen, en zich zorgen maken dat Felix misschien zelfmoord probeert te plegen, komt Felix aan, niet wetend dat iedereen al heeft gehoord dat hij en zijn vrouw uit elkaar zijn.
Felix stort uiteindelijk huilend in en zijn vrienden proberen hem te troosten. Oscar stelt voor dat Felix bij hem intrekt, aangezien Oscar alleen woont sinds hij enige tijd eerder met zijn eigen vrouw, Blanche, uit elkaar is gegaan. Felix stemt in, en dringt er bij Oscar op aan dat hij het hem laat weten als hij Oscar op de zenuwen werkt.
Binnen een week is Oscar door het dolle heen. Felix is een neurotische, obsessief-compulsieve gek, die het appartement schoonmaakt, de rotzooi achter Oscar opruimt en hem verwijt dat hij zo’n sloddervos is. Bij het volgende pokerspel klagen Speed en Roy over hoe schoon het spel en het appartement zijn geworden; Felix heeft zelfs de kaarten gewassen. Felix weigert ook plezier te maken en denkt het grootste deel van de tijd aan Frances. Later overtuigt Oscar Felix om zich te ontspannen en mee te gaan op een dubbeldate met twee Engelse meisjes die hij onlangs heeft ontmoet en die in het gebouw wonen – de zusjes Pigeon, Cecily (Monica Evans), een gescheiden vrouw, en Gwendolyn (Carole Shelley), een weduwe.
Als de date begint, probeert Oscar de gespannen Felix wat losser te krijgen door hem alleen te laten met de twee aantrekkelijke, en ietwat dartele, zusjes, terwijl hij de kamer verlaat om drankjes te mixen. In plaats daarvan raakt Felix aan de praat over zijn kinderen en Frances, en stort hij in tranen uit. Als Oscar uit de keuken terugkomt, zijn de zusjes Duif net zo aan het snikken als Felix. Als blijkt dat het gehaktbrood waar Felix zo hard aan heeft gewerkt in de as is gelegd, bieden de zussen aan om te koken en nodigen Felix en Oscar boven uit voor wat een wilde avond lijkt te worden. Felix, die beseft dat hij nog steeds te gehecht is aan zijn vrouw, weigert echter mee te gaan en kiest ervoor om “de potten te schrobben en zijn haar te wassen”. Oscar vergezelt de zussen in hun appartement, maar drinkt de hele avond thee en vertelt hen alles over Felix.
Oscar is woedend dat Felix de afspraak heeft verpest en neemt zijn toevlucht tot een stille behandeling van Felix en martelt hem door het appartement zo veel mogelijk overhoop te halen. Felix neemt wraak door gewoon zichzelf te zijn en Oscar gek te maken met zijn eindeloze schoonmaakwerk en neurotische gedrag. Uiteindelijk ontploft de spanning in een ruzie die resulteert in Oscar die eist dat Felix verhuist. Felix geeft hieraan gehoor, maar laat Oscar achter met een groot schuldgevoel omdat hij zijn nog steeds hulpbehoevende vriend in de steek heeft gelaten.
Zich schuldig voelend over het feit dat hij Felix eruit heeft gegooid, en niet wetend waar hij heen is, roept Oscar Speed, Roy en Vinnie bij elkaar om samen met Murray in zijn NYPD-politieauto New York City af te zoeken naar Felix. Na uren zoeken keren ze terug naar Oscars appartement om poker te spelen en ontdekken al snel dat Felix is ingetrokken bij de zusjes Pigeon. Oscar en Felix bieden elkaar hun verontschuldigingen aan en beseffen dat ze een beetje van elkaar zijn gaan houden, waardoor ze allebei een beter mens zijn geworden. Felix stemt ermee in dat hij volgende week hun gebruikelijke vrijdagavond pokerspel zal bijwonen. Na Felix’ vertrek zegt de slordige Oscar zijn vrienden op te passen met hun rotzooi als het pokerspel doorgaat, waarmee de film eindigt.