وكان قد اتصل بالمهدي العباسي قبل خلافته، فكان كاتبه ووزيره، ولما آلت الخلافة إلى المهدي، فوّض إليه تدبير المملكة والدواوين، ويقال إنّ الربيع بن يونس لما تولّـى حجابة المهدي، أفسد ثقة المهدي به، ورمى ابنه بالتعرّض لحُرم الهادي، فقتل المهدي ابنه، ثم سجن أبا عبيد اللّه، فما زال في السجن إلى أن توفّـي سنة سبعين ومائة، وقيل: سنة تسع وستين.

ولمعاوية بن عبيد اللّه كتاب في الخراج، ذكر فيه أحكامه الشرعية ودقائقه وقواعده.

ومن شعره:

للّه دهر أضعنا فيه أنفسنا * بالجهل لو أنّه بعد النُّهى عادا

أفسدتُ ديني بإصلاحي خلافتَهم * وكان إصلاحها للدين إفسادا

ما قرّبوا أحداً إلاّ ونيّتُهم * أن يُعقبوا قُربَهُ بالغدرِ إبعادا