وقال القطب الحلبي: وجدت بخط عبد الغني بن سعيد أن مدة ولايته ثماني عشرة سنة، وكأنه ألغى الكثير فِي السنة الأولى وَفِي السنة الثانية، لأنه ولي فِي ... وصرف فِي صفر.
ويقال إن أبا الطاهر دخل عَلَى كافور فِي مجلس المظالم وهو لابس خُفَّين أحدهما أحمر والآخر أسود، فرآهما كافور عند قيامه فأراه الحاضرين وطيَّر بِهِ، وحمل ذَلِكَ عَلَى عدم اهتباله وقلة تأمُّله وكثرة تفريطه، فبلغه فاعتذر بأنه لبسهما فِي العكس وهو لا يشعرُ، وَكَانَ هو فِي الأصل لا يتأنق فِي مأكل ولا مشرب ولا ملبس.
وذكر علي بن سعيد فِي كتابه جني النحل: أن أبا الطاهر كَانَ فِي خلافة المطيع يلبس السواد ويضع على رأسه دنّيَّة طويلة يزيد عَلَى الدماغ. فتحاكم إِلَيْهِ زوجان فبُدر من المرأة فِي حق زوجها كلام فال لَهَا: اسكتي، هَذَا القاضي هو أبو الطاهر، متى زدتِ من هَذَا المعنى نزع الخف الَّذِي عَلَى رأسه وقطعه عَلَى دماغك. فقال لَهُ أبو الطاهر: قم يَا كذا يَا كذا إِلَى لعنة الله، من أين لَكَ أن هَذَا خُفِّ!.
قال ابن زولاق: تقدم إِلَيْهِ رجل بامرأة يجحد ابنةً لَهُ منها فكاد يلاعِن بينهما إِلَى أن قُدِّر أن الرجل اعترف بابنته، فأمر بحمله عَلَى جمل والبنت بَيْنَ يديه ونودي عَلَيْهِ: هَذَا جزاء من يجحد ولده.
وجاءت إِلَيْهِ نصرانية أسلمت وَلَمْ يُسلم زوجها ولهما ولد صغير فقال: لا يصير مُسلِماً بإسلام الأم: فأنكر الناس ذَلِكَ فضجُّوا، فقيل: إن مذهب أهل البيت أنه يصير مُسلماً وهو قول الشافعي. فحكم بإسلامه، فدعا لَهُ الناس وأعجبهم حكمه. وَلَمْ يحكم بمصر أحد ممّن ولي قضاءها ممَّن كَانَ قضى ببغداد غير يحيى بن أكثم وهذا، إِلاَّ أن ابن أكثم مَا قضى بمصر إِلاَّ قليلاً جدّاً لما كَانَ مع المأمون.
قال الخطيب: كَانَ أبو الطاهر قَدْ ولي القضاء بمدينة المنصور.