وعطبت لهم أجفان كثير عليها، حتى كان يعرف ذلك الموضع بباب المجوس. وكان موضعها ملكا لقبائل لواته. فابتناها قوم من كتام. فأول ما ابتدروا به مسجدا. ثم بنى لواتة مسجدا ثانيا، وشاع أمرها، فبنى الناس شيئا بعد شيء، فقصدها التجار من الأمصار بضروب المتاجرة في أوقات معلومات لأسواق الغبار.
فأول من قدم عليها من الملوك القاسم بن إدريس، فأنه ملكها، وقامت دعوته بها إلى أن توفي - رحمه الله - ثم وليها أبنه إبراهيم بن القاسم، فجرت بينه وبين عمر بن حفصون الثائر بببشتر من الأندلس مراسلات ومكاتبات في شأن النفاق على الخليفة بقرطبة الأموي، إلى أن هلك. ثم وليها ابنه الحسين ابن إبراهيم بن القاسم، فأضطرب أمره، وضعفت طاعته، وكانت مدته خمسا وعشرين سنة في قبائل لواتة، وكان أخوه أحمد المتولي لأمر كتامة، وكان يعرف بأبي الأذنين. وكان صاحب البصرة حينئذ أخوهما عيسى بن إبراهيم بن القاسم، إلى أن قتله أبو العيش جنون من بني إدريس - رحمه الله - فتزوج أخوه أحمد الملقب بأبي الأذنين زوجته، وملك مكانه، وقيل أن زوجته سمته فقتلته. فصار أمر كتامة وأمر البصرة إلى يحيى بن إبراهيم بن القاسم المعروف بابن برهوية، فأختلفت عليه كتامة، وكان ذلك سبب دخول بني محمد بلد كتامة وهوارة وتلك الناحية، واستجاشوا بحسن بن محمد المعروف بالحجام، فقام بأمره، وهلك القاسم بن حسن بن القاسم بن إدريس صاحب أصيلا. ودخل بنو محمد من بني إدريس مدينة أصيلا، فاستأثر بها حسن الحجام دون بني عمه، فولى عليها رجلا من خاصته يقال له حجام بن يوسف، فأحسن السيرة فيهم، إلى أن هلك، فطلب ولايتها رجل من أهلها يقال له محمد بن عبد الوارث، فعبدوا طوره فيها، ويقال ن أصاب بأصيلا كنزا بداره، ونهى ذلك إلى حسن المعروف بالحجام، فطمع في ذلك المال، وعزله عن أصيلا.