والمعتصم رجلاً معرقاً خفيف اللحم، فجعل المعتصم يسبق الهفتي في المشي، فإذا تقدمه ولم ير الهتفي معه التفت إليه فقال: مالك لا تمشي! يستعجله المعتصم ليلحق به، فلما كثر ذلك من المعتصم على الهفتي قال له الهفتي مداعباً له: كنت أراني أماشي خليفة ولم أكن أراني أماشي فيجاً! والله لا أفلحت. فضحك المعتصم وقال: ويلك وهل بقي من الفلاح شيء لم أدركه؟ أبعد الخلافة تقول لي هذا؟! فقال الهفتي: أتحسب أنك قد أفلحت الآن؟ إنما لك من الخلافة الاسم، ما يجاوز أمرك أذنيك، وإنما الخليفة الفضل بن مروان الذي يأمر فينفذ أمره من ساعته. فقال المعتصم وأي أمرٍ لا ينفذ لي؟! فقال الهفتي: أمرت لي بكذا وكذا منذ شهرين فما أعطيت مما أمرت به منذ ذاك حبة.
قال: فاحتجنها المعتصم على الفضل حتى أوقع به. فلما كان سنة تسع عشرة ومئتين - وقيل سنة عشرين ومئتين - خرج المعتصم يريد القاطول، ويريد البناء بسامراء، فصرفه كثرة زيادة دجلة، فلم يقدر على الحركة؛ فانصرف إلى بغداد إلى بغداد إلى الشماسية. ثم خرج بعد، فلما صار بالقاطول غضب بن مروان وأهل بيته، وأمرهم برفع ما جرى على أيديهم، وأخذ الفضل وهو مغضوبٌ عليه في عمل حسابه، فلما فرغ الحساب لم يناظر وأمر بحبسه وأن يحمل إلى منزله ببغداد، وحبس أصحابه، وصير مكانه محمد بن عبد الملك الزيات فنفى الفضل إلى قريةٍ في طريق الموصل يقال لها السن، لم يزل بها مقيماً.
فذكر أن المعتصم لما استوزر الفضل بن مروان حل من قلبه المحل الذي لم يكن أحدٌ يطمع في ملاحظته فضلاً عن منازعته، ولا في الاعتراض في أمره ونهيه؛ فكانت هذه صفته حتى حملته الدالة وحركته الحرمة على خلافه في بعض ما كان يأمر به، ومنعه ما كان يحتاج إليه من الأموال في مهم أموره.