فلما قتل يزيد بن أبى مسلم، اجتمع الناس فنظروا فى رجل يقوم بأمرهم إلى أن يأتى رأى يزيد بن عبد الملك، فتراضوا بالمغيرة بن أبى بردة القرشى ثم أحد بنى عبد الدار، فقال له عبد الله ابنه أيّها الشيخ إنّ هذا الرجل قتل بحضرتك، فإن قمت بهذا الأمر بعده لم آمن عليك أن يلزمك أمير المؤمنين قتله، فقبل ذلك الشيخ، فاجتمع رأى أهل إفريقية على محمد بن أوس الأنصارىّ، وكان بتونس على غزو بحرها «١» ، فأرسلوا إليه فولّوه أمرهم، وكتب إلى يزيد يخبره «٢» بما كان، فبعث فى ذلك خالد بن أبى عمران وهو من أهل تونس، فقدم على يزيد فقبل منهم «٣» وعفا عمّا كان من زلّتهم.
قال خالد بن أبى عمران: ودعانى يزيد خاليا فقال: أىّ رجل محمد بن أوس؟
فقلت: رجل من أهل الدين والفضل، معروف بالفقه، قال: فما كان بها قرشى؟ قلت بلى، المغيرة بن أبى بردة، قال: قد عرفته، فما له لم يقم؟ قلت أبى ذلك وأحبّ العزلة، فسكت.
واتّهم الناس عبد الله بن موسى بن نصير أن يكون هو الذي عمل فى قتل يزيد بن أبى مسلم، فولّى يزيد بن عبد الملك بشر بن صفوان الكلبى إفريقية وذلك فى سنة ثنتين ومائة وكان عامله على مصر، فخرج إلى إفريقية، واستخلف على مصر أخاه حنظلة، فلما دخل إفريقية بلغه أن عبد الله بن موسى هو الذي دسّ لقتل يزيد بن أبى مسلم، وشهد على ذلك خالد بن أبى حبيب القرشىّ وغيره، فكتب بشر إلى يزيد بن عبد الملك، فكتب يزيد إلى بشر بن صفوان يأمره بقتل عبد الله بن موسى بن نصير، وهمّ بشر بتأخيره أيّاما، فقال خالد بن أبى حبيب ومحمد بن أبى بكير لبشر بن صفوان: عجّل بقتله من قبل أن تأتيه «٤» عافيته من أمير المؤمنين.
وكانت أمّ عبد الله ابنة موسى بن نصير تحت الربيع صاحب خاتم يزيد. فكلّم يزيد فأمر بعافيته، وجعلت أخته للرسول ثلاثة آلاف دينار إن هو أدركه، وأمر بشر بقتل عبد الله بن موسى فقتل، وقدم الرسول بعافيته بعد أن قتله فى ذلك اليوم، وبعث برأسه مع سليمان بن وعلة التميمى إلى يزيد، فنصبه.