بقين من الشهر، وتوفي يوم الاثنين سابع ذي الحجة سنة ثلاث وستين وأربعمائة ببغداد، رحمه الله تعالى، وقال السمعاني: توفي في شوال، وسمعت أن الشيخ أبا إسحاق الشيرازي رحمه الله تعالى كان من جملة من حمل نعشه، لأنه انتفع به كثيراً، وكان يراجعه في تصانيفه، والعجب أنه كان في وقته حافظ المشرق، وأبو عمر يوسف بن عبد البر - صاحب كتاب الاستيعاب - حافظ المغرب، وماتا في سنة واحدة - كما سيأتي في حرف الياء إن شاء الله تعالى -.
وذكر محب الدين بن النجار في تاريخ بغداد أن أبا البركات إسماعيل بن أبي سعد الصوفي قال: إن الشيخ أبا بكر ابن زهراء الصوفي كان قد أعد لنفسه قبراً إلى جانب قبر بشر الحافي، رحمه الله تعالى، وكان يمضي إليه في كل أسبوع مرة وينام فيه ويقرأ فيه القرآن كله، فلما مات أبو بكر الخطيب - وكان قد أوصى أن يدفن إلى جانب قبر بشر - جاء أصحاب الحديث إلى أبي بكر بن زهراء، وسألوه أن يدفن الخطيب في القبر الذي كان قد أعده لنفسه وأن يؤثره به، فامتنع من ذلك امتناعاً شديداً، وقال: موضع قد أعددته لنفسي منذ سنين يؤخذ مني! فلما رأوا ذلك جاءوا إلى والدي الشيخ أبي سعد وذكروا له ذلك، فأحضر الشيخ أبا بكر ابن زهراء وقال له: أنا لا أقول لك أعطهم القبر، ولكن أقول لك: لو أن بشراً الحافي في الأحياء وأنت إلى جانبه فجاء أبو بكر الخطيب يقعد دونك، أكان يحسن بك أن تقعد أعلى منه قال: لا، بل كنت أقوم وأجلسه مكاني، قال: فهكذا ينبغي أن يكون الساعة، قال: فطاب قلب الشيخ أبي بكر وأذن لهم في دفنه، فدفنوه إلى جانبه بباب حرب. وكان قد تصدق بجميع ماله، وهو مائتا دينار، فرقها على أرباب الحديث والفقهاء والفقراء في مرضه، وأوصى أن يتصدق عنه بجميع ما عليه من الثياب، ووقف جميع كتبه على المسلمين، ولم يكن له عقب، وصنف أكثر من ستين كتاباً، وكان الشيخ أبو إسحاق الشيرازي أحد من حمل جنازته، وقيل: إنه ولد سنة إحدى وتسعين وثلثمائة، والله أعلم، ورؤيت له منامات صالحة بعد موته، وكان قد انتهى إليه علم الحديث وحفظه في وقته؛ هذا آخر ما نقلته من كتاب ابن النجار.