As palavras da cantata « Rejoice in the Lamb » vêm do longo poema homônimo de Christopher Smart, um poeta profundamente piedoso mas também louco do século XVIII. « Rejoice in the Lamb » tem uma forma caótica, mas contém, no entanto, muitos lampejos de lucidez. Foi criado durante uma estadia de Smart numa casa de saúde. Algumas das passagens mais belas foram escolhidas por Benjamin Britten para serem musicadas. O tema principal do poema, e portanto da cantata, é a adoração a Deus por todas as criaturas e coisas que Ele moldou, cada uma à sua maneira. A cantata é composta por dez partes curtas. A primeira estabelece o tema. A segunda apresenta vários exemplos de pessoas das páginas do Antigo Testamento, que louvam a Deus com outras criaturas e se alegram. A terceira parte é um aleluia calmo e extático. Na quarta parte, Smart toma seu amado gato como exemplo da Natureza de Deus, que é simples como o Criador quis. O mesmo raciocínio é aplicado ao rato na quinta parte. A sexta parte fala das flores - « a poesia de Cristo ». Na sétima parte, Smart relata seus problemas e seu sofrimento, mas que são oportunidades para louvar a Deus, e que encontrarão seu desfecho através de Cristo. A oitava parte, na qual são dadas quatro letras do alfabeto, conduz a um coro completo na nona, que evoca o louvor a Deus pela música e pelos instrumentos musicais. Finalmente, o aleluia é repetido na última parte.