وفاته بطوس، في يوم الاثنين رابع عشر جمادى الآخرة، سنة خمسٍ وخمسمائة (٥٠٥ هجرية) ؛ وعمره خمس وخمسون سنة.
قال أبو الفرج بن الجوزي في كتاب "الثبات عند الممات": "قال أحمد أخو الإمام الغزالي: لما كان يوم الاثنين وقت الصبح، توضأ أخي أبو حامد وصلى وقال: عليَّ بالكفن، فأخذه وقبَّله، ووضعه على عينيه، وقال: سمعاً وطاعة للدخول على الملك، ثم مدَّ رجليه، واستقبل القبلة، ومات قبل الإسفار، قدَّس الله روحه".
هذا وقد رثاه الأديب أبو المظفر محمد الأبيوردي، الشاعر المشهور، بأبيات فائية منها:
مضى وأعظمُ مفقودٍ فُجِعْتُ بِه ... من لا نظيرَ لهُ في الناسِ يخلُفُه
وتمثَّل الإمام إسماعيل الحاكمي بعد وفاته بقول أبي تمام من جملة قصيدة مشهورة له:
عجبتُ لصبري بعدَهُ وهوَ ميتٌ ... وكنتُ امرءاً أبكي دماً وهوَ غائبُ
على أنها الأيامُ قد صِرْنَ كلُّها ... عجائبَ، حتى ليس فيها عجائبُ
وقد دُفن الغزالي رحمه الله بظاهر الطابرّان، وهي قصبة طوس، رحمه الله تعالى.