وكان عمر يؤوى، بالمدينة، من يتهددهم بطش الحجاج في العراق لكن الوليد ولى الحجاج على الحج سنة 92، فاستعفاه عمر من مرور الطاغية بمدينة الرسول فقبل ولم يكن عدل عمر مانعا، بل ربما صار مقتضيا، أن يعزله الوليد بعثمان ابن حيان المري سنة 93، فأنزل الوالي الجديد النكال بالعلماء، ومنهم ناسك المدينة محمد بن المنكدر فقيه بنى تيم قبيلة أبى بكر وأخوال جعفر الصادق، وقذف أهل المدينة من فوق المنبر بقوله (أيها الناس إنا وجدناكم أهل غش لأمير المؤمنين في قديم الدهر وحديثه).
و امتدت يد البطش إلى أبى بكر بن محمد بن عمرو بن حزم الأنصاري (وجده عمرو عامل الرسول)، فأمر بحلق لحيته لولا أن عزل الخليفة الجديد (سليمان بن عبد الملك) عثمان بأبي بكر ذاته سنة 96. وبقى أبو بكر أميرا على المدينة حتى سنة 101. واجتمع له القضاء والإمرة عليها في خلافة عمر بن عبد العزيز.
ولما عزله يزيد بن عبد الملك بعد وفاة عمر، بعبد الرحمن بن الضحاك بن قيس عذب الوالي الجديد أبا بكر. فلما عزل عبد الرحمن سنة 104، حاقت البأساء والضراء بعبد الرحمن، حتى صار يلتمس الصدقة من سوء حاله.
وفي سنة 106 تولى إبراهيم بن هشام بن إسماعيل - وهو خال الخليفة هشام بن عبد الملك - فبقى إبراهيم واليا إلى سنة 114. ثم عزل بخالد ابن عبد الملك بن الحارث بن أبي العاص، فبقيت له الإمرة حتى سنة 118.
وخطب خالد على منبر الرسول، فانتقص أولاد الرسول وأباهم عليا.
فقام إليه داود بن قيس فبرك على ركبتيه وقال: كذبت كذبت. حتى حيل بينهما. ثم عزل بمحمد بن هشام بن إسماعيل أخي إبراهيم فبقى حتى سنة 125.
وكما ولى محمد وإبراهيم ابنا هشام، لخؤلتهما لهشام بن عبد الملك، ولى الوليد ابن يزيد إمرة المدينة " خاله " محمد بن يوسف الثقفي. وأمره أن يعذبهما.