وكان عثمان قد استعمل عمرو بن العاص على حرب مصر، واستعمل عبد الله بن أبي سرح على الجزية وخراج الأرض وعبد الله بن سعد رضيع عثمان فتواشيا إلى عثمان، فكتب عمرو إلى عثمان: إن عبد الله قد أمسك يدي عن غزوي، وحال بيني وبين أن أنفذ لشيء من حربي. وكتب ابن سعد إلى عثمان: إن عمراً قد كسر علي جزيتي، وأخرب علي أرضي، وحال بيني وبين أن أنفذ لشيء من عملي، فكتب عثمان إلى عمرو فعزله، وجمع لعبد الله بن سعد وخراج الأرض، وقدم عمرو على عثمان مستخطاً، فدخل ذات يوم عليه، وعليه جبة له محشوة، فقال عثمان: ما حشو جبتك يا أبا عبد الله؟ قال: عمرو بن العاص. قال: والله ما عن ذلك سألتك، لقد عرفناك أنك فيها. ولكن إنما سألتك عن حشوها. قال: لكني قد أحببت أن أعلمك أن فيها عمرو بن العاص. قال: وحشد ابن سعد في حمل المال ليصدق حديثه. وقيل: إن عثمان كتب إلى عبد الله بن سعد: أما بعد. فقد رأيت ما صنعت بك: عزلت عنك عمرو بن العاص واستعملتك، فإذا جاءك كتابي هذا فاحشد في الخراج، وإياك في حشدك أن تظلم مسلماً أو معاهداً، قال: فبعث إليه عبد الله بن سعد بمالٍ قد حشد فيه. فلما وضع بين يدي عثمان قال: علي بعمرو بن العاص، فأتي به مسرعاً، فقال: ما تشاء؟ فقال عثمان: يا عمرو، أرى تلك اللقاح قد درت بعدك! فقال عمرو: إنما درت لهلاك فصالها، وإنها قد هزلت. قال: فسكت عثمان.
قال خليفة العصفري: في سنة سبع وعشرين عزل عثمان بن عفان عمرو بن العاص عن مصر، وولاه عبد الله بن سعد بن أبي سرح، فغزا ابن أبي سرح إفريقية ومعه العبادلة: عبد الله بن عمر، وعبد الله بن عمرو بن العاص، وعبد الله بن الزبير بن العوام، فلقي جرجير، وجرجير في مئتي ألف بسبيطلة على سبعين ميلاً من القيروان، فقتل جرجير، وسبوا وغنموا.