Felix Ungar (Jack Lemmon) s’inscrit dans un hôtel sordide près de Times Square avec l’intention de se suicider en sautant du neuvième étage, mais il se jette le dos en essayant d’ouvrir la fenêtre. Il quitte l’hôtel en boitant lentement et tente ensuite de se saouler en regardant les danseurs de Go-go au Metropole Cafe ; il finit par se faire mal au cou en rejetant la tête en arrière et en buvant un verre. Il part, se tient sur un pont et envisage de se jeter à l’eau.
Pendant ce temps, dans l’appartement froncé de l’Upper West Side du journaliste sportif divorcé Oscar Madison (Walter Matthau), c’est une soirée d’été chaude et humide ; Oscar et ses copains Speed (Larry Haines), Roy (David Sheiner), Vinnie (John Fiedler) et le policier Murray (Herb Edelman) se sont réunis pour leur partie de poker hebdomadaire. Murray est inquiet parce que leur ami commun Felix est inhabituellement en retard pour la partie ; Speed est agacé parce qu’il est en train de perdre ; Vinnie n’arrête pas de mentionner qu’il doit partir à midi, et Roy se plaint de la chaleur, de l’odeur et du désordre de l’appartement. Le réfrigérateur d’Oscar est en panne depuis deux semaines et, à un moment donné, il leur propose des sandwiches bruns et des sandwiches verts (« soit du fromage très récent, soit de la viande très ancienne »). La femme de Murray appelle et lui dit que Félix a disparu. Oscar appelle alors Frances, la femme de Felix, qui l’informe qu’elle et Felix ont rompu. Alors qu’Oscar et ses amis discutent de ce qu’il faut faire, et s’inquiètent que Félix puisse tenter de se suicider, Félix arrive sans savoir que tout le monde a déjà entendu que lui et sa femme se sont séparés.
Félix finit par s’effondrer en pleurs et ses amis tentent de le consoler. Oscar propose à Félix d’emménager chez lui, car Oscar vit seul depuis qu’il s’est séparé de sa propre femme, Blanche, quelque temps auparavant. Félix accepte et exhorte Oscar à ne pas hésiter à lui faire savoir s’il lui tape sur les nerfs.
En l’espace d’une semaine seulement, Oscar devient fou. Felix est un fou névrosé, obsessionnel-compulsif, qui court dans l’appartement pour nettoyer, ramasser après Oscar et le réprimander d’être un tel barbouilleur. Lors de la partie de poker suivante, Speed et Roy se plaignent de la propreté de la partie et de l’appartement ; Felix a même lavé les cartes. Felix refuse également de s’amuser, passant le plus clair de son temps à penser à Frances. Plus tard, Oscar convainc Félix de se détendre et de se joindre à lui pour un double rendez-vous avec deux Anglaises qu’il a récemment rencontrées et qui vivent dans l’immeuble – les sœurs Pigeon, Cecily (Monica Evans), une divorcée, et Gwendolyn (Carole Shelley), une veuve.
Alors que le rendez-vous commence, Oscar tente de décoincer Félix en le laissant seul avec les deux sœurs séduisantes, et quelque peu fringantes, tandis qu’il quitte la pièce pour mélanger les boissons. Au lieu de cela, Felix finit par parler de ses enfants et de Frances, et s’effondre en larmes. Quand Oscar revient de la cuisine, les sœurs Pigeon sanglotent de façon aussi incontrôlable que Felix. Lorsqu’elles découvrent que le pain de viande que Felix a travaillé si dur à préparer a été réduit en cendres, les sœurs proposent de préparer le dîner et invitent Felix et Oscar à l’étage pour ce qui s’annonce comme une folle soirée. Mais Felix, qui se rend compte qu’il est encore trop attaché à sa femme, refuse d’y aller, préférant « récurer les pots et se laver les cheveux ». Oscar rejoint les sœurs dans leur appartement, mais finit par passer la nuit à boire du thé et à leur parler de Felix.
Furieux que Felix ait gâché le rendez-vous, Oscar a recours au traitement silencieux de Felix et le torture en salissant l’appartement autant que possible. Felix riposte en étant simplement lui-même, rendant Oscar fou avec son nettoyage sans fin et son comportement névrotique. Finalement, la tension explose en une dispute qui amène Oscar à exiger que Felix déménage. Felix s’exécute, mais laisse Oscar avec un sentiment de culpabilité majeur pour avoir abandonné son ami toujours dans le besoin.
Se sentant coupable d’avoir mis Felix dehors, et ne sachant pas où il est parti, Oscar rassemble Speed, Roy et Vinnie pour l’aider à chercher Felix dans la ville de New York avec Murray dans sa voiture de police NYPD. Après avoir cherché pendant des heures, ils retournent à l’appartement d’Oscar pour jouer au poker et découvrent bientôt que Felix a emménagé chez les sœurs Pigeon. Oscar et Felix s’excusent l’un l’autre et réalisent qu’un peu de chacun a déteint sur l’autre, et que chacun en est devenu une meilleure personne. Felix accepte d’assister la semaine prochaine à leur habituelle partie de poker du vendredi soir. Après la sortie définitive de Félix, Oscar, autrefois négligé, dit à ses amis de faire attention à leur désordre alors que la partie de poker continue, ce qui met fin au film.