20世紀初頭、イングランド北東部、ヨークシャーのダウントン村にある壮麗な大邸宅「ダウントン・アビー」には、当主のグランサム伯爵ロバート・クローリーと、その妻でアメリカ出身のコーラ、長女メアリーとその息子、亡き三女シビルの夫トム・ブランソンと娘が暮らしている。次女イーディス一家も来訪し、先代伯爵夫人バイオレットや、メアリーの亡夫マシューの母親イザベル・マートンもたびたび訪れる。このダウントンをジョージ5世国王とメアリー王妃が訪れることになり、一家も使用人たちも興奮の極みに。壮大なパレードや豪勢な晩餐会の準備が必要だ。今やダウントンを切り盛りしている長女メアリーは、この難事を前に、引退していた元執事のカーソンに助けを求める。