وإن كانوا إنما شقوا العصا فقتالهم حلال. فأجابه المأمون بجواب قبيح سبه فيه وسبّ مالكاً. وقال للحارث: ارحل عن مصر. فقال يا أمير المؤمنين إلى الثغر؟ قال: لا، الحق بمدينة السلام. فشفع فيه أبو صالح الحراني فقال له يا شيخ شفعت فارتفع. وانحرف المأمون على الحارث، واشتد غضبه منه وأسمعه المكروه، وعَدَّ له ذنوباً من جملتها امتناعه عن القضاء.
وكان الفضل لما عرض عليه القضاء امتنع، وكان المأمون أيضاً حرّد على المالكيين فازداد عليهم حنقاً بقصة الحارث، وذلك أن الحارث كان شكس الخلق منحرفاً عن الدولة العباسية، لأنه كان من موالي بني أمية. فارتحل إلى العراق فأقام ببغداد من سنة سبع عشرة إلى سنة اثنتين وثلاثين ومائتين في خلافه الواثق. وَكَانَ من ابن أبي دواد ذكره للواثق فقال: ما ظننت أنه حي. فقال: هو باق فأمر بحمله إلى سُر من رأي. فشفع فيه ابن أبي داود. وقال: هو شيخ، وكثرة الحركة تثقل عليه وتتعبه، وأخاف أن يموت. قال: فاكتب إليه يتوجه حيث شاء، فتوجه إلى بلده. وكان جماعة من بغداد قد ألفوه فتأسفوا على فقده، منهم أبو علي الجزري، فكتب إلى سعدان بن زيد وهو يومئذ بمصر يعرفه ما غمه من فقد الحارث فأجابه بأبيات منها.
أيها الشاكي إلينا وحشةً ... من حبيب بَانَ عنه فبعدْ
ولقَد متّعكَ الله به ... بضع عشر من سنين قد تُعَدْ
لو تراه وأبا زيد معاً ... وهما للدين حِصْنٌ وعَضُدْ
يدرسون العلم في مسجدهم ... وإذا جَنَّهُمُ الليل هُجُدْ
وأبو زيد المذكور هو عبد الرحمن بن أبي الغمر أحد الفقهاء بمصر، يروي عن المفضل بن فضالة وغيره. وقال عبدا لله بن عيسى بن عبيد الله المرادي في أتباع مالكك كان الحراث فقيهاً كبيراً مقدماً على الأفراد، سائداً على الأجواد.
وامتحن فيما افتتن. روى عنه كافة المصريين. وله مصنفات منها: مصنف مالك. وقال محمد بن وضاح: كان الحارث ثقة الثقات.
قال أبو زكريا: هو أفضل من عبد الله بن صالح، كاتب الليث. وخير من أصبغ وأفضل، مع أن أصبغ كان أعلم الخلق برأي مالك.