رجاله فارتاع أهل العسكر منه، وقالوا: (قد خولط) فانفض الناس عنه فلنا رأى ذلك، خشي أن يبقى وحده. فرجع إلى تونس فجعل عقوبة من انفض عنه غرم ثلاثين دينارا، فسمي غَرْم الهاربين.
وفي سنة ٢٨٤، كانت وقعة بنفوسة لأبي العباس بن إبراهيم فقتل منهم مقتلة عظيمة، وأسر منهم نحو ثلاثمائة. فلما وصل بهم إلى والده إبراهيم بن أحمد دعا بهم. فقُرِّبَ إليه الشيخ منهم، فقال له إبراهيم: أتعرف عليّ بن أبي طالب؟ فقال له: لعنك الله يا إبراهيم على ظلمك وقتلك! فذبح إبراهيم وشق عن قلبه، وأخرجه بيده، وأمر أن يفعل ببقية الأسرى كذلك، حتى أتى على أخرهم. ونظمت قلوبهم في حبال، ونصبت على باب تونس.

قصة ابن الأغلب مع الشيخ الصالح أبي الأحوص
وذلك إن أبا الأحوص أحمد بن عبد اله المكفوف المتعبد، من أهل سوسة كان زاهدا ورعا. فلما أكثر إبراهيم بن أحمد الجور والقتل، دعا برجل من لأهل سوسة، وأملى عليه رسالة إلى إبراهيم، كان في فصل منها: يا فاسق! يا جائر! يا خائن! قد حدت عن شرائع الإسلام! وعن قريب تعاين مقعدك من جهنم، وسترد فتعلم! وبعث به إليه فلما قرأه، غضب وبعث إلى أبي الأحوص من قال له: عذرناك لفضلك ودينك! ولكن ابعث إلي الذي كتب الكتاب. وبالله لئن لم تفعل، لأقتلن فيه من أهل سوسة كذا وكذا، ويكون إثم ذلك في عنقك! فقال أبو الأحوص للرسول:: قال له لئن قتلت ألفا لا يكون إثمهم إلا عليك! ولو عملت ما عملت ما أعلمتك بالرجل. فتب إلى خالقك، وأرجع عن جورك! فأمسكه الله عنه، ومات أبو الأحوص في هذه السنة.
وفي سنة ٢٧٥، كانت فتنة بصقلية، بين عربها وبربرها، وفي خلال ذلك،