开元四年（公元716年），姚崇患了疟疾卧床不起。唐玄宗每日派遣使者数十人，前去探病，每遇军国重事，都命黄门监源乾曜去征求他的意见。后来，唐玄宗采纳源乾曜的建议，命姚崇搬入四方馆居住，并准许他的家属侍疾。姚崇认为四方馆存有官署文书，不是病人居住之地，极力推辞。 后来姚崇两个儿子受贿赂，唐玄宗定了他们死罪，姚崇为此忧惧不安，数次请辞相位，不久，唐玄宗答应了他的请求，开元四年（716年）十二月，姚崇辞去宰相之职，改任开府仪同三司，并根据他的举荐，由宋璟代替了宰相职务。虽然姚崇被罢相，但是唐玄宗仍然敬重他，遇见重大政事还是要咨询姚崇。开元九年（公元721年），姚崇病逝，享年七十二岁，追赠扬州大都督、谥号文献。 开元十七年（729年），唐玄宗又追赠姚崇为太子太保。
