(تأملت الأمر؛ فوجدته صعب المرام؛ فبارك الله لكما في رأيكما ومولاكما! فإن أحب غير السلطان، فله عندي أن يواسيه يوسف، ويزوجه ويحبوه! انطلقا راشدين!) فانقطع رجاؤهم يومئذ من ربيعة ومضر، ورجعوا إلى اليمن. قال بدر: فلم نمر بيمني إلا دعوناه؛ فوجدنا قوما قد وغرت صدورهم، يتمنون سبيلا لطلب ثأرهم؛ ثم رجعنا إلى جندنا؛ فابتعنا مركبا، ووجهنا فيه أحد عشر رجلا مع بدر. قال: ومضى يوسف حتى أتى طليطلة، وأمضى بعثين إلى جليقية والبشكنش، وأراد القفول إلى قرطبة؛ فلم يبعد حتى أدركه الرسول بهزيمة الجيش وقتل عامته. فبينما هو ينظر في ذلك، إذ أتاه رجل من عند ولده من قرطبة، يعلمه أن فتى من قريش، من ولد هشام بن عبد الملك، نزل بساحل المنكب؛ فاجتمع إليه موالي القوم والأموية؛ فانتشر الخبر في العسكر، وشمت به الناس لما فعل بالقرشيين؛ فانقض الناس من العسكر، وتنادوا بمشاعرهم، وتقدموا إلى كورهم. فأصبح يوسف، وليس في عسكره غير قيس والصميل؛ فقال الصميل: (ما الرأي؟) قال: (بادره الساعة، قيل أن يستعجل أمره!) فساروا إلى قرطبة؛ فكلما رجوا أن يجتمع لهم بمن يخرجون لاستئصال شوكة ابن معاوية، لم يتجه لهم عمل.
وفي سنة ١٣٨، دخل عبد الرحمن بن معاوية الأندلس في غرة ربيع الأول؛ وهو أبو الملوك. وكان خروجه من المركب بموضع يعرف بالمنكب؛ ثم نزل بقرية طرش من كورة إلبيرة. فأقبل إليه جماعة من الأمويين، وقد أعد للأمير ما يصلحه من المركب والمنزل والملبس. فغلظ أمر ابن معاوية، وأقبل الناس من كل مكان إليه. فكتب يوسف الفهري إلى جماعة الأمويين، يحذرهم ويخوفهم؛ فقالوا له: (إنما أقبل ابن معاوية إلينا وإلى جماعة مواليه، يريد المال، ليس فيما يظن الأمير - أصلحه الله! - ولا فيما رفع إليه.) واعتذروا له