لأول وقت جواز يحيى شواظ من نار، وأضرمها سعيراً، واستخف بعمه، وضم الرجال وسعى لتبديد شمل عمه. وشكا القاسم أمره إلى البرابرة فتثاقلوا عنه، وأجبوا التضريب بينهما. ولم يزل أمر يحيى يقوى، وأمر القاسم يضعف، فلم يجد مخرجاً مما وقع فيه إلا الهرب من دار الخلافة والانقلاب إلى عمله بإشبيلية؛ وكان يكثر الندم على ما دخل فيه من سلطانهم إلى أن عيل صبره، ففر من قرطبة إلى عمله بإشبيلية في خمسة فوارس من خاصته، وذلك ليلة السبت لثمان خلت لربيع الآخر سنة اثنتي عشرة وأربعمائة، اتخذ الليل جملاص ولم يعلم بخبره إلا عند الصباح. فضبط البربر قصر قرطبة إلى أن لحق يحيى ابن أخيه بعد خطوب، فبويع يحيى في التاريخ، واجتمع عليه الفريقان: الأندلس والبرابرة من أهل قرطبة وأعمالها خاصة. وكانت أم يحيى لبونة بنت محمد بن الأمير حسن ابن القاسم الملقب بقنون، فعرف يحيى بكرم الولادة لما جاء هاشمي الأبوين، رابع أربعة من أبناء القرشيات من خلائف الإسلام: أولهم جده الأكبر علي بن أبي طالب، وابنه الحسن بن علي، ثم الأمين محمد بن هارون. فعرف يحيى بهذه الفضيلة، وسلك سبيل والده في التحقيق بالفروسية والحب لركض الخيل والخروج للقنص، وتنكب ما سوى ذلك من مذموم أخلاق أبيه ومكروه سيرته، فجانب العصبية وآثر النصفة وطلب السلامة، فطاب خبره. إلا أن العجب والكبر شانا خصاله هذه، إلى أن خلط وتبلد. وتمرست به عفاريت