Wczesna historia kwartetu smyczkowego jest pod wieloma względami historią podróży Haydna z tym gatunkiem. Nie dlatego, że skomponował on pierwszy kwartet: zanim Haydn zachwycił się tym gatunkiem, istniały już przykłady divertimenti na dwoje skrzypiec solo, altówkę i wiolonczelę autorstwa wiedeńskich kompozytorów, takich jak Georg Christoph Wagenseil i Ignaz Holzbauer; od dawna też istniała tradycja wykonywania utworów orkiestrowych po jednym instrumencie na partię. David Wyn Jones powołuje się na powszechną praktykę wykonywania przez czterech muzyków, po jednym na partię, utworów napisanych na orkiestrę smyczkową, takich jak divertimenti i serenady, przy czym przed XIX wiekiem w partyturach smyczkowych nie istniała osobna (piąta) partia kontrabasu. Kompozytorzy ci nie wykazywali jednak zainteresowania badaniem rozwoju kwartetu smyczkowego jako medium.
Początki kwartetu smyczkowego można dalej prześledzić do barokowej sonaty triowej, w której dwa instrumenty solowe występowały z sekcją continuo składającą się z instrumentu basowego (takiego jak wiolonczela) i klawiatury. Bardzo wczesnym przykładem jest czteroczęściowa sonata na zespół smyczkowy autorstwa Gregorio Allegriego (1582-1652), którą można uznać za ważny prototyp. Na początku XVIII wieku kompozytorzy często dodawali trzeciego solistę; co więcej, powszechne stało się pomijanie partii klawiszy, pozwalając wiolonczeli wspierać samą linię basu. Kiedy więc Alessandro Scarlatti napisał zbiór sześciu utworów zatytułowany „Sonata à Quattro per due Violini, Violetta , e Violoncello senza Cembalo” (Sonata na cztery instrumenty: dwoje skrzypiec, altówkę i wiolonczelę bez klawesynu), była to naturalna ewolucja istniejącej tradycji.
Haydn jest odpowiedzialny za kwartet smyczkowy w jego obecnie przyjętej formie. Chociaż to nie on wymyślił kombinację dwojga skrzypiec, altówki i wiolonczeli, wcześniejsze przypadki występowania w muzyce kameralnej były raczej wynikiem okoliczności niż świadomego projektu. Kwartet smyczkowy nie miał uznanego statusu zespołu, tak jak przez ponad sto lat miało go dwoje skrzypiec z basso continuo, czyli tzw. sonata triowa. Nawet kompozycja najwcześniejszych kwartetów smyczkowych Haydna była bardziej dziełem przypadku niż artystycznego imperatywu. W latach pięćdziesiątych XVIII wieku, kiedy młody kompozytor pracował jeszcze głównie jako nauczyciel i skrzypek w Wiedniu, był od czasu do czasu zapraszany do pobliskiego zamku w Weinzierl przez kochającego muzykę austriackiego szlachcica Karla Josepha Webera, Edlera von Fürnberg. Grał tam muzykę kameralną w zespole ad hoc złożonym z zarządcy zamku, księdza i miejscowego wiolonczelisty, a kiedy baron poprosił o nową muzykę dla grupy, narodziły się pierwsze kwartety smyczkowe Haydna. Nie jest jasne, czy któryś z tych utworów znalazł się w dwóch zbiorach opublikowanych w połowie lat 60. i znanych jako Haydn’s Opp.1 i 2 („Op.0” to kwartet zawarty w niektórych wczesnych wydaniach Op.1, i odkryty na nowo dopiero w latach trzydziestych XX wieku), ale wydaje się, że można założyć, iż miały one co najmniej podobny charakter.
Wczesny biograf Haydna, Georg August Griesinger, opowiada tę historię w następujący sposób:
Następujące czysto przypadkowe okoliczności skłoniły go do spróbowania szczęścia w komponowaniu kwartetów. Baron Fürnberg miał w Weinzierl, kilka stadiów od Wiednia, dom, do którego zapraszał od czasu do czasu swego pastora, swego zarządcę, Haydna i Albrechtsbergera (brata słynnego kontrapunkcisty Albrechtsbergera), aby posłuchać muzyki. Fürnberg poprosił Haydna o skomponowanie czegoś, co mogłoby być wykonane przez tych czterech amatorów. Haydn, wówczas osiemnastoletni, skorzystał z tej propozycji i tak powstał jego pierwszy kwartet, który od razu po ukazaniu się zyskał tak powszechną aprobatę, że Haydn odważył się na dalszą pracę w tej formie.
Haydn napisał w tym czasie jeszcze dziewięć innych kwartetów. Utwory te zostały opublikowane jako jego op. 1 i op. 2; jeden kwartet pozostał nieopublikowany, a niektóre z wczesnych „kwartetów” są w rzeczywistości symfoniami, w których brakuje partii dętych. Składają się z pięciu części i mają formę: część szybka, menuet i trio I, część wolna, menuet i trio II oraz szybki finał. Jak zauważa Ludwig Finscher, stylistycznie czerpią one z austriackiej tradycji divertimento.
Po tych wczesnych próbach Haydn przez kilka lat nie wracał do kwartetu smyczkowego, ale gdy już to uczynił, był to znaczący krok w rozwoju gatunku. W tym czasie Haydn rozpoczął pracę jako kapelmistrz książąt Esterhazy, dla których musiał skomponować liczne symfonie i dziesiątki triów na skrzypce, altówkę i osobliwy instrument basowy zwany barytonem (grał na nim sam książę Nikolaus Esterhazy). Możliwości eksperymentowania, jakie oba te gatunki oferowały Haydnowi, pomogły mu być może w dążeniu do bardziej zaawansowanego stylu kwartetowego, który odnajdujemy w osiemnastu utworach opublikowanych na początku lat siedemdziesiątych XVIII wieku jako Opp.9, 17 i 20. Są one napisane w formie, która stała się standardem zarówno dla Haydna, jak i dla innych kompozytorów. Kwartety te, wyraźnie skomponowane jako komplety, charakteryzują się czteroczęściowym układem, z szeroko pomyślanymi, umiarkowanymi w tempie częściami pierwszymi oraz, w coraz większym stopniu, demokratycznym i konwersacyjnym współgraniem partii, ścisłym rozwojem tematycznym i umiejętnym, choć często nieśmiałym, stosowaniem kontrapunktu. Zwłaszcza przekonująca realizacja postępowych założeń zbioru op. 20 z 1772 roku czyni z nich pierwszy ważny szczyt w historii kwartetu smyczkowego. Z pewnością stanowiły one dla swoich czasów najnowocześniejsze wzorce do naśladowania przez najlepszą część dekady; nastoletni Mozart, w swoich wczesnych kwartetach, należał do kompozytorów skłonnych do naśladowania wielu ich cech, aż po witalne fugi, za pomocą których Haydn starał się nadać większą wagę architektoniczną finałom numerów 2, 5 i 6.
Po op. 20 trudniej jest wskazać na podobne wielkie skoki w rozwoju kwartetu smyczkowego w rękach Haydna, choć nie wynika to z braku inwencji czy zastosowania ze strony kompozytora. Jak ujął to Donald Tovey: „z op.20 historyczny rozwój kwartetów Haydna osiąga swój cel; a dalszy postęp nie jest postępem w żadnym historycznym sensie, lecz po prostu różnicą między jednym arcydziełem a drugim.”
O tym, że kwartety smyczkowe Haydna były już „klasykami”, które zdefiniowały gatunek w 1801 roku, może świadczyć opublikowanie przez Ignaza Pleyela w Paryżu „kompletnej” serii w tym samym roku, a o ewolucji kwartetu jako nośnika publicznego wykonania może świadczyć dziesięciotomowy zbiór miniaturowych partytur Pleyela, przeznaczonych raczej dla słuchaczy niż graczy – wczesne przykłady tego gatunku wydawnictw muzycznych. Od czasów Haydna kwartet smyczkowy cieszy się prestiżem i uważany jest za jeden z prawdziwych sprawdzianów sztuki kompozytorskiej. Może to wynikać po części z faktu, że paleta dźwięków jest bardziej ograniczona niż w przypadku muzyki orkiestrowej, co zmusza muzykę do stania bardziej na swoim, a nie polegania na barwie tonalnej; lub z nieodłącznej tendencji kontrapunktycznej w muzyce napisanej na cztery równe instrumenty.
Kompozycja kwartetowa rozkwitła w epoce klasycznej. Mozart, Beethoven i Schubert skomponowali po kilka kwartetów: „Zwłaszcza Beethovenowi przypisuje się rozwój gatunku w sposób eksperymentalny i dynamiczny, zwłaszcza w jego późniejszej serii kwartetów pisanych w latach dwudziestych XIX wieku aż do śmierci. Ich formy i pomysły inspirowały i nadal inspirują muzyków i kompozytorów, takich jak Richard Wagner i Béla Bartók.” Ostatnim muzycznym życzeniem Schuberta było wysłuchanie Kwartetu c♯moll op. 131 Beethovena, co uczynił 14 listopada 1828 roku, zaledwie pięć dni przed śmiercią. Po wysłuchaniu wcześniejszego wykonania tego kwartetu Schubert zauważył: „Po tym, co nam zostało do napisania?”. Wagner, zastanawiając się nad pierwszą częścią op. 131, powiedział, że „ujawnia ona najbardziej melancholijny sentyment wyrażony w muzyce”. Spośród późnych kwartetów Beethoven jako swój ulubiony wymieniał op. 131, który uważał za swoje najdoskonalsze pojedyncze dzieło.
Sześć kwartetów smyczkowych Mendelssohna obejmuje cały okres jego twórczości, od 1828 do 1847 roku; trzy kwartety Schumanna powstały w 1842 roku i zostały zadedykowane Mendelssohnowi, którego kwartety Schumann studiował w ramach przygotowań, podobnie jak kwartety Haydna, Mozarta i Beethovena. Kilku kompozytorów epoki romantyzmu napisało tylko jeden kwartet, a Antonín Dvořák aż 14. W epoce nowożytnej kwartet smyczkowy odegrał kluczową rolę w rozwoju Arnolda Schoenberga (który jako pierwszy dodał sopran w swoim II Kwartecie smyczkowym), Béli Bartóka, a zwłaszcza Dymitra Szostakowicza. Po II wojnie światowej niektórzy kompozytorzy, jak Pierre Boulez i Olivier Messiaen, kwestionowali zasadność istnienia kwartetu smyczkowego i unikali jego pisania. Jednak począwszy od lat 60. wielu kompozytorów wykazało ponowne zainteresowanie tym gatunkiem. Peter Maxwell Davies, podczas swojej kadencji jako Master of the Queen’s Music, w latach 2001-2007 stworzył zbiór dziesięciu utworów zatytułowany Naxos Quartets (na zamówienie Naxos Records). Margaret Jones Wiles skomponowała ponad 50 kwartetów smyczkowych. David Matthews napisał jedenaście, a Robin Holloway zarówno pięć kwartetów, jak i sześć „quartettini”.