Rose Elizabeth Cleveland werd geboren in Fayetteville, New York, op 14 juni 1846. Rose stond in haar familie bekend als “Libby” en was de jongste van negen kinderen die werden geboren uit Richard Falley Cleveland en Ann Neal Cleveland. In september 1853 verhuisde het gezin naar Holland Patent, New York, waar haar vader net benoemd was tot predikant van de Presbyteriaanse kerk. Hij stierf de maand daarop. Rose was zeven jaar oud toen haar vader overleed.
Rose bleef in Holland Patent om voor haar weduwe-moeder te zorgen. Grover Cleveland, de oudere broer van Rose, was toen 16 jaar oud en was vastbesloten om zijn gezin te helpen onderhouden. Hij verliet de school en ging naar New York City om als leraar te werken aan de State School for the Blind. Rose werd opgeleid aan het Houghton Seminary in Clinton, New York, waar ze later onderwijzeres werd om zichzelf te onderhouden en ook om haar weduwe moeder te helpen ondersteunen.
Rose gaf ook les aan het Collegiate Institute in Lafayette, Indiana, en aan een meisjesschool in Muncy, Pennsylvania, waar ze aan het eind van de jaren 1860 les gaf. Op Muncy Seminary stond Rose bekend om haar sterke persoonlijkheid en onafhankelijkheid.
Rose kreeg een bijnaam binnen haar vriendenkring in Muncy; ze noemden haar “Johnny Cleveland” omdat ze meestal lezend onder een oude boom bij een boerderij in de buurt te vinden was. Rose bereidde vervolgens een cursus voor met historische lezingen; één lezing in het bijzonder ging over altruïstisch geloof, die ze hield voor de studenten van Houghton Seminary en op andere scholen.
In de jaren 1880 keerde Rose terug naar Holland Patent om voor haar zieke moeder te zorgen. In die tijd gaf ze les op de zondagsschool en deed ze wat literatuurwerk. Als ze niet op deze manier bezig was, wijdde ze zich aan haar oude moeder in de hofstede in Holland Patent tot de dood van haar moeder in 1882. Na de dood van Ann Neal Cleveland bleef Rose alleen achter op de boerderij die bekend stond als “The Weeds.”
Rose bleef zondagsschool houden en lezingen geven. In een lezing over altruïstisch geloof verklaarde ze: “We kunnen de mensheid in het algemeen niet raken, behalve als we de mensheid in het individu raken. We maken van de wereld een betere plaats door onze concrete relaties, niet door onze vage, algemene goede wil. We moeten allemaal een echte partner vinden, iemand die ons begrijpt en waardeert, iemand wiens vertrouwen in ons onze beste inspanningen naar boven brengt. Ons diepste verlangen is erkenning – door een ander mens gekend worden voor wat we werkelijk zijn.”