١٣٥٧ واستولى موسى بن أبي العافية على جميع المغرب وأجلى آل إدريس أجمعين عن مواضعهم وانحاشوا عن البلد، وسار جميعهم في حجر النسر مقهورين، وهو حصن بناه إبراهيم بن محمّد بن القاسم بن إدريس بن إدريس «١» سنة سبع عشرة وثلاثمائة، واعتزم موسى على محاصرتهم واستئصالهم حتّى عذله في ذلك أكابر أهل المغرب وقالوا: قد (أجليتهم وأفقرتهم، أتريد) «٢» أن تقتل آل إدريس أجمعين وأنت رجل من البربر؟ فانكسر عن ذلك ولاذ عنهم بعسكره وتخلّف «٣» لمراقبتهم ومنعهم من التصرّف قائدا جليلا كان عنده يكنّى أبا قمح، فكانت محلّة أبي قمح بتاوررت «٤» واستخلف موسى ابنه مدين بفاس حتّى قدم حميد بن يصلى في سنة إحدى وعشرين وثلاثمائة إلى المغرب ومعه حامد بن حمدان الهمداني. فلمّا أيقن مدين بقدومهما هرب من فاس وولّى حميد حامدا «٥» على فاس، وتظاهر بنو إدريس على أبي قمح فهزموه وغنموا أكثر عسكره «٦» . قالوا: فبذلك سمّوا ذلك الموضع الكوم «٧» وتفاءلوا به وجعلوه شعارا بينهم.
١٣٥٨ ووثب بفاس أحمد بن بكر بن عبد الرحمان بن أبي سهل الجذامي، فقتل حامدا وبعث برأسه وولده إلى موسى «٨» بن أبي العافية، فبعث بهما موسى إلى قرطبة مع سعيد بن الزرّاد. وكان صار حميد بن يصلى «٩» عن موسى وعن المغرب بغير عهد، فهو كان سبب سجنه بإفريقية حتّى هرب إلى الأندلس.