ولاّه عمر بن الخطاب البصرة، وهو الذي فتح تُستَـر، ولما ولي عثمان أقرّه على البصرة، ثمّ عزله، فانتقل إلى الكوفة، ثمّ ولاّه عثمان الكوفة، ولم يزل عليها إلى أن قُتل عثمان، فأقرّه الاِمام علي - عليه السّلام- .

ولما كانت وقعة الجمل، وأرسل علي - عليه السّلام- إلى أهل الكوفة لينصروه، كان أبو موسى يخذّل الناس عن نصرة أمير الموَمنين - عليه السّلام- ، ويأمرهم بوضع السلاح والكفّ عن القتال، فعزله الاِمام - عليه السّلام- ، فأقام بالكوفة إلى أن كان التحكيم، وقصته في أمر التحكيم واجتماعه بعمرو بن العاص مشهورة.

روى الطبري أنّ عمرو بن العاص لما رأى أمر أهل العراق قد اشتد في وقعة صفّين، وخاف في ذلك الهلاك، قال: نرفع المصاحف ثمّ نقول ما فيها حكم بيننا ... فرفع أهل الشام المصاحف بالرماح، فلما رأى الناس المصاحف قد رُفعت قالوا: نجيب إلى كتاب اللّه عزّ وجلّ ... فقال علي [ - عليه السّلام- ]: عباد اللّه امضوا على حقّكم وصدقكم في قتال عدوّكم، فانّ معاوية وعمرو بن العاص ليسوا بأصحاب دين ولا قرآن، أنا أعرَفُ بهم منكم قد صحبتهم أطفالاً وصحبتهم رجالاً، فكانوا شرّ أطفال وشر رجال ... فقال له مسعر بن فدكي التميمي وزيد بن حصين الطائي في عصابة معهما من القرّاء الذين صاروا خوارج بعد ذلك:

يا عليّ أجب إلى كتاب اللّه عزّ وجلّ إذا دُعيت إليه ... ولما اختار أهل الشام عمرو بن العاص، قال الاَشعث بن قيس: قد رضينا بأبي موسى الاَشعري.

فقال علي ] - عليه السّلام- [: فانّكم قد عصيتموني في أوّل الاَمر فلا تعصوني الآن، إنّي لا أرى أن أُوليه، ولكن هذا ابن عباس، فلم يقبلوا، فقال: إنّي أجعل الاَشتر، فرفضوا .