Cette image peut être considérée comme la première tentative de Milles de s’éloigner des intrigues narratives et historiques qui lui sont devenues familières. En novembre 1854, il décida d’écrire une toile qui susciterait des réflexions philosophiques sur la fugacité de la vie, sur le temps. À cette époque, l’artiste rendait visite à son ami, le poète Tennyson.
Un soir, il l’a aidé à ramasser et à brûler les feuilles mortes. Les souvenirs de Milles de ce crépuscule d’automne étaient si forts qu’ils l’ont poussé à créer cette triste toile.
La composition de l’image est simple: feuilles jaune-rouge, fumée sortant du feu et figures de jeunes filles. Milles a écrit en Écosse dans le jardin de la maison où lui et sa femme ont vécu pour la première fois après le mariage. Les quatre filles sont les sœurs plus jeunes Effie, Alice et Sophie Gray et les résidents locaux.