و لما بنى معاوية قصره الخضراء جاءه أبو ذر، و قال له: يا معاوية، ان كانت هذه من مال اللّه فهي الخيانة و ان كانت من مالك فهو الاسراف، و لم يزل على موقفه الذي كان عليه في المدينة، فقال حبيب بن مسلمة الفهري لمعاوية:

ان ابا ذر سيفسد عليك الشام فتدارك الأمر ان كان لك فيه حاجة.

و جاء في شرح النهج عن الجاحظ عن رجل من بني غفار انه قال: كنت عاملا لمعاوية على قنسرين و العواصم فجئت يوما فسمعت صارخا على باب داره يقول: اللهم العن الآمرين بالمعروف التاركين له، اللهم العن الناهين عن المنكر الفاعلين له فأربد معاوية و تغير لونه و قال: يا جلام، أ تعرف هذا الصارخ قلت اللهم لا، قال من عذيري من جندب بن جنادة يأتينا كل يوم فيصرخ على باب قصرنا بما سمعت، ثم قال ادخلوه علي فجي‌ء به بين قوم يقودونه حتى وقف بين يديه، فقال له معاوية: يا عدو اللّه و عدو رسوله تأتينا كل يوم فتصنع ما تصنع، أما اني لو كنت قاتل رجل من أصحاب محمد بغير اذن أمير المؤمنين لقتلتك، و لكني استأذنه فيك.

قال جلام الغفاري: و كنت احب أن أرى أبا ذر لأنه من قومي، فالتفت إليه و اذا هو رجل اسمر ضرب من الرجال خفيف العارضين محني الظهر، فأقبل على معاوية و قال ما أنا عدو اللّه و لرسوله، بل أنت و أبوك عدوان للّه و لرسوله اظهرتما الإسلام و أبطنتما الشرك و لقد لعنك رسول اللّه (ص) و دعا عليك مرات أن لا تشبع، و سمعته يقول: إذا ولي الأمة الاعين الواسع البلعوم الذي يأكل و لا يشبع فلتأخذ الأمة حذرها منه. فقال معاوية: ما أنا ذاك الرجل، فقال أبو ذر: بل أنت هو اخبرني بذلك رسول اللّه و سمعته يقول: و قد مررت به اللهم العنه و لا تشبعه الا بالتراب، و سمعته يقول: است معاوية في النار. فضحك معاوية و أمر بحبسه و كتب إلى عثمان يخبره بحاله، فكتب إليه عثمان احمل جندب بن جنادة الي على اغلظ مركب و اوعره، فحمله معاوية على اسوأ حال و أمر من معه ان يسيروا به الليل و النهار حتى قدم المدينة و قد سقط لحم فخذيه من الجهد. و لما دخل على عثمان قال له: لا انعم اللّه بك عينا يا جنيدب،