وبلغ ذلك طاهرا فعظم عليه أن يكون الفتح لهرثمة واجتمع هو وقوّاده لهرثمة وقوّاده في منزل خزيمة بن حازم، وحضر سليمان والسنديّ وابن نهيك وأخبروا طاهرا أنه لا يخرج إليه أبدا وأنه يخرج إلى هرثمة ويدفع إليك الخاتم والقضيب والبردة وهو الخلافة فرضي. ثم جاء الهرش وأسرّ إليه أنهم يخادعونه وأنهم يحملونها مع الأمين إلى هرثمة فغضب وأعدّ رجالا حول قصور الأمين، وبعث إليه هرثمة لخمس بقين من محرّم سنة ثمان وتسعين بأن يتربص ليلة لأنه رأى أولئك الرجال بالشط فقال: قد افترق عني الناس ولا يمكنني المقام لئلا يدخل عليّ طاهر فيقتلني.
ثم ودّع ابنيه وبكى وخرج إلى الشط وركب حراقة هرثمة. وجعل هرثمة يقبل يديه ورجليه وأمر بالحراقة أن تدفع وإذا بأصحاب طاهر في الزواريق فشدّوا عليها ونقبوها ورموهم بالآجر والنشّاب فلم يرجعوا ودخل الماء إلى الحراقة فغرقت. قال أحمد بن سالم صاحب المظالم: فسقط الأمين وهرثمة وسقطنا فتعلق الملاح بشعر هرثمة وأخرجه وشق الأمين ثيابه. قال: وخرجت إلى الشطّ فحملت إلى طاهر فسألني عن نفسي فانتسبت وعن الأمين فقلت غرق فحملت إلى بيت وحبست فيه حتى أعطيتهم مالا فاديتهم به على نفسي. فبعد ساعة من الليل فتحوا عليّ الباب وأدخلوا عليّ الأمين عريان في سراويل وعمامة وعلى كتفه خرقة فاسترجعت وبكيت. ثم عرفني فقال:
ضمّني إليك فإنّي أجد وحشة شديدة، فضممته وقلبه يخفق فقال: يا أحمد ما فعل أخي؟ فقلت: حيّ قال: قبح الله بريدهم كان يقول قد مات، يريد بذلك العذر عن محاربته فقلت: بل قبّح الله وزراءك، فقال: تراهم يفون لي بالأمان؟
قلت: نعم إن شاء الله. ثم دخل محمد بن حميد الطاهري فاستثبتنا حتى عرفه وانصرف، ثم دخل علينا منتصف الليل قوم من العجم منتضين سيوفهم فدافع عن نفسه قليلا ثم ذبحوه ومضوا برأسه إلى طاهر ثم جاءوا من السحر فأخذوا جثته. ونصب طاهر الرأس حتى رآه الناس ثم بعث به إلى المأمون مع ابن عمه محمد بن الحسن بن مصعب ومعه الخاتم والبردة والقضيب وكتب معه بالفتح فلما رآه المأمون سجد. ولما قتل الأمين نادى طاهر بالأمان ودخل المدينة يوم الجمعة فصلّى بالناس وخطب للمأمون وذمّ الأمين، ووكّل بحفظ القصور الخلافيّة، وأخرج زبيدة أمّ الأمين وابنيه موسى وعبد الله إلى بلاد الزاب الأعلى. ثم أمر بحمل الولدين إلى المأمون وندم الجند على قتله وطالبوا طاهر بالأموال فارتاب بجند بغداد وبجنده أنهم تواطئوا عليه