وخرج أَبُو خزيمة يوماً من المسجد فلم يواف دابته فعرض عليه رجل من أهل البلد أن يركب فأبى وعزم عليه آخر دابته فركب فَقَالَ لَهُ الأول فَقَالَ: رأيت في اللجام حلية من فضة.
ثم استعفى أَبُو خزيمة فأعفى وجعل مكانه عَبْد اللهِ بْن بلال الحضرمي ويُقَالُ: بل غوثا الذي كان استخلفه حين شخص إِلَى أمير المؤمنين أبي جعفر في سنة أربع وأربعين ومائة.
وكان يجلس للناس في المسجد الأبيض ثم قدم غوث فأقره خليفة له يحكم بين الناس، فلما مات ركب غوث إِلَى منزله فضم الديوان والودائع التي كانت قبله وغير ذلك، فزعموا أن بنت عَبْد اللهِ بْن بلال صاحت يومئذ واغوثاه.
وقَالَ يحيى بْن عَبْد اللهِ بْن بكير: لم يزل أَبُو خزيمة على القضاء حتى قدم غوث من الصائفة، فعزل أَبُوخزيمة ورد غوث على القضاء.
ويُقَالُ: إن غوثا حين شخص إِلَى العراق جعل على القضاء أَبُو خزيمة فلم يزل على القضاء حتى توفي سنة أربع وخمسين ومائة.
وقَالَ بعض أهل مصر: كان ابن خديج يومئذ بالعراق، قَالَ: دخلت على أمير المؤمنين أبي جعفر فقال: يا ابن خديج لقد توفي ببلدك رجل أصيبت به العامة، قال: قلت: يا أمير المؤمنين ذاك إذاً أَبُو خزيمة، قال: نعم فمن ترى أن نولي القضاء بعده ? قلت: أَبُو معدان اليحصبي يا أمير المؤمنين. قال: ذاك رجل أصم ولا يصلح للقاضي أن يكون أصم. قال: قلت: فابن لهيعة يا أمير المؤمنين، قال: ابن لهيعة على ضعف فِيْهِ فأمر بتوليته وأجرى عليه في كل شهر ثلاثين ديناراً. وهو أول قاض قضى على مصر أجرى عليه ذلك باستقضاء خليفة، وإنما كان ولاة البلد يولون القضاة، فلم يزل قاضياً حتى صرف سنة أربع وتسعين ومائة.