سيدي إن ابن خيرون لم يعطني من الذهب شيئًا الذي أمرته أن يفرقه على أصحاب الحديث؛ فرفع الخطيب رأسه من المخدة وقال: خذ هذه بارك الله لك فيها, فكان فيها أربعون دينارًا.
وقال مكي الرميلي: مرض الخطيب في رمضان من سنة ثلاث وستين في نصفه إلى أن اشتد به الحال في أول ذي الحجة، ومات يوم سابعه وأوصى إلى أبي الفضل بن خيرون ووقف كتبه على يده وفرق ماله في وجوه البر وشيعه القضاة والخلق، وأمهم أبو الحسين بن المهتدي بالله ودفن بجنب بشر الحافي. قال ابن خيرون: دفن بباب حرب وتصدق بماله وهو مائتا دينار وأوصى بأن يتصدق بثيابه وكان بين يدي جنازته جماعة ينادون: هذا الذي كان يذب عن رسول الله, صلى الله عليه وآله وسلم, هذا الذي كان ينفي الكذب على رسول الله, صلى الله عليه وآله وسلم، هذا الذي كان يحفظ حديث رسول الله, صلى الله عليه وآله وسلم, وختم على قبره عدة ختمات.
وقال عبد العزيز الكتاني: ورد كتاب جماعة أن الحافظ أبا بكر مات في سابع ذي الحجة، وكان أبو إسحاق الشيرازي ممن حمل جنازته، قال إسماعيل بن أبي سعد الصوفي: كان أبو بكر بن زهراء الصوفي برباطنا قد أعد لنفسه قبرًا إلى جانب قبر بشر الحافي وكان يمضي إليه في كل أسبوع وينام فيه ويقرأ فيه القرآن كله, فلما مات الخطيب وكان أوصى أن يدفن إلى جنب بشر الحافي فجاء المحدثون إلى ابن زهراء، وسألوه أن يدفنوا الخطيب في قبره وأن يؤثره به فامتنع فجاءوا إلى أبي فأحضره وقال: أنا لا أقول لك أعطهم القبر، ولكن لو أن بشرًا الحافي في الأحياء وأنت إلى جانبه فجاء أبو بكر الخطيب ليقعد دونك أكان يحسن بك أن تقعد أعلى منه؟ قال: لا، بل كنت أقوم وأجلسه؛ قال: فهكذا ينبغي أن يكون الساعة, فطاب قلبه وأذن لهم. قال علي بن الحسين بن جدا: رأيت بعد موت الخطيب كأن شخصًا قائمًا بحذائي فأردت أن أسأله عن الخطيب فقال لي ابتداء: انزل وسط الجنة حيث يتعارف الأبرار.
قال غيث الأرمنازي: قال مكي الرميلي: كنت ببغداد نائمًا في ليلة ثاني عشر في ربيع الأول سنة ثلاث وستين, فرأيت كأنا عند الخطيب لقراءة تاريخه على العادة والشيخ نصر بن إبراهيم المقدسي عن يمينه وعن يمين نصر رجل سألت عنه فقيل: هذا رسول الله -صلى الله عليه وآله وسلم- جاء ليسمع التاريخ, فقلت في نفسي: هذه جلالة لأبي بكر. قال غيث: أنشدنا الخطيب لنفسه:
إن كنت تبغي الرشاد محضًا ... لأمر دنياك والمعاد
فخالف النفس في هواها ... إن الهوى جامع الفساد