والأصح في نهج البلاغة : إنه توفى بالكوفة بعد رجوعه من صفين مع على سنة ٣٨ ه‌ .
ومر على الإصابة : أنه استخلفه على ( ع ) على البصرة بعد الجمل ثم شهد معه صفين .
وفي كتاب الغارات : إنه لما عزل على ( ع ) قيس ابن سعد عن ( ولاية ) مصر وولاها محمد بن أبى بكر ، خرج هو وسهل بن حنيف ( من المدينة ) حتى قدما على على ( ع ) بالكوفة فخبره قيس الخبر وما كان بمصر ، وشهد مع على ( ع ) صفين هو وسهل بن حنيف .
روى نصر بن مزاحم في كتاب صفين : أنه لما أراد أمير المؤمنين ( ع ) المسير إلى صفين دعا إليه من كان معه من المهاجرين والأنصار فاستشارهم ، فقال الأنصار بعضهم لبعض : ليقم رجل منكم فليجب أمير المؤمنين ( ع ) عن جماعتكم . فقالوا : قم يا سهل بن حنيف . فقام سهل فحمد الله وأثنى عليه ، ثم قال : يا أمير المؤمنين ، نحن سلم لمن سالمت ، وحرب لمن حاربت ، ورأينا رأيك ، ونحن كف يمينك ، وقد رأينا أن تقوم بهذا الأمر في أهل الكوفة