Mars 1920. La mère de Lady Cora, Martha Levinson, arrive à Downton Abbey pour le mariage de Mathieu et Lady Marie, étonnant la comtesse douairière avec sa façon américaine et «révolutionnaire» de voir les choses. Le comte de Grantham apprend que la fortune de Cora est sérieusement diminuée, laissant le domaine presque en faillite. Mathieu serait en droit d'hériter de la fortune du père de Lavinia, ce qui permettrait de sauver Downton, mais il refuse cette possibilité, jugeant qu'il s'agirait d'une trahison envers Lavinia et Reggie Swire. Chez les domestiques, Alfred, le neveu d'O'Brien, se joint au personnel comme valet de pied, mais il a du mal à satisfaire Carson et s'attire la jalousie de Thomas. Lady Sybil et son mari, Tom Branson, sont de retour à Downton malgré un accueil tiède, d'autant plus que Branson reste très loquace sur ses convictions politiques.

Avril 1920. L'avenir de Downton étant menacé, Lady Marie et Lady Violette conspirent pour organiser un dîner qui montrerait Downton dans toute sa grandeur, espérant persuader Mme Levinson de donner l'argent qui sauverait le domaine de la ruine financière. Leur projet est cependant compromis, donnant l'occasion à Mme Levinson de prendre la soirée en main et ce, de façon plutôt radicale. Lorsqu'on lui demande franchement une aide financière, Mme Levinson propose de divertir les Crawleys lors d'une éventuelle visite à New York, mais rien de plus. Elle soutient qu'ils doivent s'adapter aux changements de la société. Lady Edith, toujours célibataire, poursuit Sir Anthony Strallan de ses avances. Pendant ce temps, en bas, O'Brien et Thomas se font la guerre en raison de la récente promotion d'Alfred comme valet de chambre de Mathieu. Mme Hughes craint d'être gravement malade, mais elle est soutenue par Mme Patmore. Isabelle découvre ce qu'est devenue Esther.

Mai 1920. Mathieu reçoit une lettre que le défunt père de Lavinia lui avait écrite et qui éclaircit la situation. Il décide de sauver Downton avec son héritage, mais Lord Grantham insiste pour que Mathieu et lui deviennent conjointement maîtres du domaine. Le jour du mariage de Lady Edith arrive enfin, mais l'événement prend une tournure inattendue. Mme Hughes est fixée sur sa maladie. Thomas essaie de se venger d'O'Brien en répandant une fausse rumeur à son sujet. Le compagnon de cellule de Bates tente de lui attirer des ennuis, mais Bates est averti à temps par un autre détenu.

Juin 1920. Lorsque la maison d'un aristocrate en Irlande est incendiée, Branson, qui se trouvait sur les lieux, est recherché par la police. Lady Edith soutient le droit de vote pour les femmes en écrivant dans un journal. Carson recrute un nouveau valet de pied qui attire l'attention du personnel féminin et de Thomas. La nouvelle fille de cuisine est remarquée par Alfred, au grand dam de Daisy.

Juillet 1920. Lady Edith est invitée à écrire une chronique hebdomadaire dans un journal, ce qui ne fait pas le bonheur de toute la famille. Isabelle veut aider Esther en lui offrant un emploi comme domestique. Mathieu croit que Lord Grantham a mal géré le domaine et trouve un allié en George Murray, l'avocat de la famille. Lady Sybil est sur le point d'accoucher et Lord Grantham fait venir un obstétricien célèbre ce qui vexe le docteur Clarkson et Lady Cora.

Juillet 1920. Branson décide de faire baptiser sa fille dans la religion catholique, ce à quoi s'oppose fermement Lord Grantham. Lady Violette fait appel au docteur Clarkson pour réconcilier Lord Grantham et Lady Cora. Anna découvre des éléments de preuves qui pourraient innocenter Bates, mais un autre prisonnier menace ses chances de liberté.

Août 1920. Bates sort de prison, ce qui ranime l'hostilité de Thomas à son égard. Lord Grantham essaie de décourager Lady Edith de devenir journaliste, mais Lady Violette prend la défense de celle-ci. Le frère de Branson arrive à Downton et ne fait pas bonne impression. Mathieu continue de confronter Lord Grantham sur la mauvaise gestion du domaine, ce qui entraîne une démission importante.

Septembre 1920. Le match de cricket annuel opposant Downton Abbey avec le village a lieu. Tout le monde persuade Jimmy de ne pas rapporter à la police l'incident avec Thomas. Cependant, Alfred qui a été témoin de l’incident n’est pas d’accord. La petite-nièce de Lady Violette, Lady Rose MacClare, arrive à Downton Abbey. Lady Marie et Mathieu découvrent qu'ils ont rendu visite séparément au même médecin dans le but de comprendre pourquoi celle-ci n'est toujours pas enceinte.

Septembre 1921. La famille Crawley se dirige vers l’Écosse pour visiter Lady Rose et ses parents. Bates, Anna, Molesley et O'Brien font également partie du voyage. Gregson, l'homme qui a embauché Lady Edith au journal, lui annonce qu'il sera également en Écosse, à la grande joie de cette dernière. Les domestiques attendent avec impatience la fête champêtre qui approche et Carson a du mal à les garder à l’ordre.