Ce portrait a été commandé à Sargent par Sir George Sitwell, propriétaire foncier, collectionneur d’antiquités et enfin un homme très excentrique. Son épouse, Lady Ida, était la fille du comte de Londonbro. Tous les trois, leurs enfants ont par la suite laissé leur empreinte sur l’horizon littéraire britannique. Edith Sitwell était connue comme une poétesse, Sir Sachverell Citwell a écrit plusieurs livres sur la peinture et l’architecture, et Sir Osbert Citwell a écrit une autobiographie.
Sir George voulait que Sargent vienne dans sa maison de campagne, Rainshaw Hall dans le Derbyshire, mais l’artiste a insisté pour peindre un portrait dans son atelier de Londres. La famille Sitwell a dû se rendre à Londres et visiter l’atelier de l’artiste tous les jours pendant cinq ou six semaines.
Les Sitwell ont apporté avec eux un meuble, y compris la vieille commode de Chippendale et la tapisserie suspendue derrière. Certes, la table au premier plan appartenait à Sargent lui-même. Osbert Sitwell, qui avait alors huit ans, a expliqué très clairement dans son autobiographie comment Sargent a travaillé sur ce portrait.