لإبراهيم بن الأغلب ، واشتدت لظاته بلغه ما اجتمع لإدريس بن إدريس بن عبد الله بن حسن بن حسين بن على بن أبى طالب ـ رضى الله عنه ـ من الجموع وأطاعه من حوله من القبائل ، فدعا يحيى بن الفضل صاحب البريد وابن غانم القاضى وابن عوانة الكلبى ، فشاورهم فى أمر إدريس ، وتكلم بكلام كثير ، فقالوا : «أصلح الله الأمير ، قد علم من حضر وغاب من أمر المغرب إنه لم يظفر بمثل ظفرك ، ولا كان له ما كان لك ، فدع ابن إدريس ما وادعك ، وأرض لك وله بالسلامة ...

قال بعضهم : إن ابن إدريس لم يجتمع إليه إلا ... [فقال ابن] غانم : «وما هو هذا؟» قال : «السم القاتل من ساعته!» قال : «أرنيه» فدفعها إليه ، فضرب بها ابن غانم عمودا كان فى المجلس ، فكسرها وأراق ما فيها ، فقال له : «ما صنعت ويحك؟!» قال : «أو أترك معك ما يقتل الناس اغتيالا»

وشق إبراهيم بن الأغلب يوما سماط القيروان ومعه ابن غانم من باب أبى الربيع ، فلما صار إلى موضع البزازين ، وزادت دابته فى المشى ، فجازت دابة ابن غانم ، فجازه فى المشى ، فلما رأى ذلك وجه دابته إلى داره ، فأرسل إليه إبراهيم وقال له : «ما حملك على أن عطفت حتى فارقتنى؟» فقال : «أصلح الله الأمير ، إنما القاضى بحرمته وإنما تنفذ أحكامه بقدر نفوذ جأشه وتحركت دابتك فلو ساعدتك وحركت دابتى سقطت قلنسوتى ، وإذا سقطت قلنسوة القاضى لعب بها الصبيان!».

قال : وكان إبراهيم بن الأغلب جالسا يوما وعنده ابن غانم فدخل عليه صاحب بريد إفريقية ، وقد وردت عليه كتب من هارون الرشيد فدفع الرسول إلى إبراهيم كتابه وإلى ابن غانم كتابه ، فقرأ إبراهيم كتابه ودفعه إلى ابن غانم ، فقرأه ورده على إبراهيم ، فقال له إبراهيم : «هات كتابك اقرأه ... من ذلك» فقال له : «فلم قرأت كتابى؟!» قال : «أنت دفعته إلى ومددت به يدك ، وكرهت أن أردها ، وأما أنا فلست أطلعك عليه فإن أمير المؤمنين أسر إلى فيه شيئا لا أطلع عليه أحدا» فقال له إبراهيم : «أما علمت أنه يقال إن أمير إفريقية يقتل قاضيها؟!» قال : «أعلم أن قد ذكر ذلك ، ولكن لست ذلك