Rose Elizabeth Cleveland nació en Fayetteville, Nueva York, el 14 de junio de 1846. Conocida por su familia como «Libby», Rose era la menor de los nueve hijos de Richard Falley Cleveland y Ann Neal Cleveland. En septiembre de 1853, la familia se trasladó a Holland Patent, Nueva York, donde su padre acababa de ser nombrado pastor de la iglesia presbiteriana. Murió al mes siguiente, y Rose tenía siete años en el momento de la muerte de su padre.
Rose se quedó en Holland Patent para cuidar de su madre viuda. Grover Cleveland, el hermano mayor de Rose, tenía entonces 16 años y estaba decidido a ayudar a mantener a su familia. Dejó la escuela y se fue a la ciudad de Nueva York para trabajar como maestro en la Escuela Estatal para Ciegos. Rose se formó en el Seminario Houghton de Clinton, Nueva York, donde más tarde se convirtió en maestra para mantenerse y también para ayudar a mantener a su madre viuda.
Rose también enseñó en el Instituto Collegiate de Lafayette, Indiana, y en una escuela de niñas en Muncy, Pensilvania, donde dio clases a finales de la década de 1860. En el Seminario de Muncy, Rose era conocida por su fuerte personalidad e independencia.
Rose se ganó un apodo dentro de su círculo de amigos en Muncy; la llamaban «Johnny Cleveland» porque normalmente se la encontraba leyendo un libro bajo un viejo árbol en una granja cercana. Rose preparó entonces un curso de conferencias históricas; una de ellas, en particular, se centró en la fe altruista, que pronunció ante los estudiantes del Seminario de Houghton y en otras escuelas.
En la década de 1880 Rose regresó a Holland Patent para cuidar de su madre enferma. Durante este tiempo enseñó en la Escuela Dominical y realizó algunos trabajos de literatura. Cuando no estaba empleada de esta manera, se dedicaba a su anciana madre en la casa de Holland Patent hasta la muerte de su madre en 1882. Después de la muerte de Ann Neal Cleveland, Rose se quedó sola en la granja conocida como «The Weeds»
Rose continuó enseñando en la escuela dominical y dando conferencias. En una conferencia sobre la fe altruista, declaró: «No podemos tocar a la humanidad en general, excepto si tocamos a la humanidad en el individuo. Hacemos del mundo un lugar mejor a través de nuestras relaciones concretas, no a través de nuestra vaga y general buena voluntad. Cada uno de nosotros debe encontrar un verdadero compañero, alguien que nos comprenda y nos aprecie, alguien cuya fe en nosotros haga aflorar nuestros mejores esfuerzos. Nuestro anhelo más profundo es el reconocimiento: que otro ser humano nos conozca por lo que realmente somos».