قبل هجرة النبي إلى المدينة و رجع إلى بلاده و أقام بها، إلى أن كانت معركة خيبر في السنة السابعة من الهجرة، فالتحق بالنبي هو و جماعة من الاشعريين و النبي لا يزال في خيبر، في الوقت الذي رجع فيه جعفر بن أبي طالب من الحبشة، فظن قوم أنه كان من المهاجرين إليها على حد تعبير الراوي، و قد ولاه عمر بن الخطاب البصرة لما عزل المغيرة بن شعبة عنها، فلم يزل بها إلى أن عزله عثمان بن عفان عنها و ولاها عبد الله بن عامر بن كرن، فسكن أبو موسى في الكوفة فلما ثار أهلها على سعيد بن العاص و أخرجوه منها كتبوا إلى عثمان أن يولي عليها أبا موسى فولاه الكوفة و عزله عنها أمير المؤمنين (ع) بعد أن وقف منه موقفه المشهور، فكان واجدا و حاقدا عليه و قال فيه قولا سيئا كما يذهب لذلك بعض المحدثين، و أضاف إلى ذلك أنه كان ليلة العقبة مع الذين اعترضوا طريق رسول اللّه (ص).

و جاء عن سويد بن غفلة أنه قال: كنت مع أبي موسى الأشعري على شاطئ الفرات في خلافة عثمان فروى لي عن رسول اللّه (ص) أنه قال: أن بني اسرائيل اختلفوا فلم يزل الخلاف بينهم حتى بعثوا حكمين ضالين ضلا و أضلا من اتبعهما، و لا ينفك أمر هذه الأمة حتى يبعثوا حكمين ضالين و يضلان من اتبعهما، فقلت له: احذر يا أبا موسى أن تكون احدهما فخلع قميصه و قال: ابرأ إلى اللّه من ذلك كما ابرأ من قميصي هذا، و مضى الراوي يقول:

و لقد صدقت فيه نبوءة رسول اللّه (ص) فلقد كان حكما لأهل العراق فضل و أضل من اتبعه.

و مهما كان الحال فقد جاء في شرح النهج لابن أبي الحديد أنهم حينما شرعوا في كتابة بنود الاتفاق كتب الكاتب هذا ما تقاضى عليه علي أمير المؤمنين و معاوية بن أبي سفيان فقال معاوية بئس الرجل أنا إن أقررت أنه أمير المؤمنين ثم قاتلته و قال ابن العاص: بل تكتب اسمه و اسم أبيه، و لما أصر أهل العراق على ما كتب قال أنه اميركم و ليس بأميرنا، فأعادوا الكتاب إلى أمير المؤمنين و أخبروه بذلك، فأمر بمحوه، فقال له الأحنف لا تمح اسم أمير المؤمنين عنك فإني أتخوف إن محوتها لا ترجع إليك أبدا، فقال أمير المؤمنين (ع) ما أشبه هذا