رجال بني أبي العاص على بني حرب حتى ابني عثمان وخالداً ابني عمرو، فتمنيت أنهما ماتا. فكتب معاوية إلى مروان:
أواضع رجل فوق أخرى تعدنا ... عديد الحصى ما إن تزال تكاثر
وأمكم تزجي تؤاماً لبعلها ... وأم أخيكم نزرة الولد عاقر
اشهد يا مروان أني سمعت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ يقول: إذا بلغ ولد الحكم ثلاثين رجلاً اتخذوا مال الله دولاً، ودين الله دخلاً، وعباد الله خولاً. قال: فكتب إليه مروان: أما بعد يا معاوية، فإني أبو عشرة، وأخو عشرة، وعم عشرة، والسلام.
كتبت رملة بنت معاوية إلى أبيها، وكانت عند عمرو بن عثمان بن عفان، تشكو آل أبي العاص وأنهم يتكثرون علي، حتى وددت أن ابني كان منبوذاً في البحر، فكتب إليها: أنا أشقى من أن تكوني رجلاً. قال: وعزل مروان عن المدينة.
لما حضرت معاوية الوفاة جعلوا يديرونه في القصر فقال: هل بلغنا الخضراء؟ فصرخت ابنته رملة، فقال: ما أصرخك؟ قالت: نحن ندور بك في الخضراء، تقول هل بلغت الخضراء بعد! فقال: إن عزب عقل أبيك فطالما وقر.
ولما حضرته الوفاة احتوشه بناته، فضرب بيده، فسقطت يده في حجر رملة ابنته فقال: من هذا؟ قالت رملة: أنا يا أبتاه، قال حولي أباك فإنك تحولينه حولاً قلباً، ثم قال:
لا يبعدن ربيعة بن مكدم ... وسقى الغوادي قبره بذنوب
فكانت آخر كلامه.