Esta imagen puede considerarse el primer intento de Milles para alejarse de las tramas narrativas e históricas que le son familiares. En noviembre de 1854, decidió escribir un lienzo que despertaría pensamientos filosóficos sobre la transitoriedad de la vida, sobre el tiempo. En ese momento, el artista estaba visitando a su amigo, el poeta Tennyson.
Una tarde lo ayudó a recoger y quemar hojas caídas. Los recuerdos de Milles de ese crepúsculo otoñal resultaron ser tan fuertes que lo empujaron a crear este lienzo triste.
La composición de la pintura es simple: hojas de color amarillo-rojo, humo que se levanta del fuego y figuras de chicas jóvenes. Milles escribió en Escocia, en el jardín de la casa donde él y su esposa vivían la primera vez después de la boda. Las cuatro niñas son las hermanas menores Effie, Alice y Sophie Gray, y las mujeres locales.