وجده عبد الملك هو الذي دخل مع طارق ونزل الجزيرة الخضراء لأول الفتح؛ فساد أهلها، وكثر عقبه فيها؛ وتكررت فيهم النباهة والوجاهة؛ وجاور الخلفاء منهم بقرطبة جماعة أحدهم أبو عامر محمد بن الوليد، الذي عرف آل عامر طرَّا به. وساد بعده ولده عامر، وتقدم عند الخلفاء، وولي الأعمال، ومات بقرطبة؛ وباسمه نقش محمد السكك، ورقم الأعلام. وكان عبد الله السكنى بأبي حفص، والد محمد المنصور، من أهل الدين والزهد في الدنيا والقعود عن السلطان؛ سمع الحديث، وأدى الفريضة، ومات منصرفا من حجه بمدينة إطرابلس المغرب؛ وأصهر التميميين المعروفين بقرطبة ببني برطال؛ فنكح بريهة بنت يحيى بن زكريا؛ فولدت له أبا عامر المنصور، وأخاه يحيى. وكانت أم عبد الله، والد المنصور، بنت الوزير يحيى بن إسحاق، وزمر الناصر لدين الله وطبيبه.
وكان محمد هذا حسن النشأة، ظاهر النجابة، تتفرس فيه السيادة؛ سلك سبيل القضاة في أولىته، مقتفيا آثار عمومته وخولته؛ فطلب الحديث في حداثته، وقرأ الأدب، وقيد اللغات على أبي علي البغدادي، وعلى أبي بكر بن القوطية؛ وقرأ الحديث على أبي بكر بن معاوية القرشي، راوية النسائي، وغيره من رؤساء أهل المشرق؛ وبرع بروعا أدناه، مع نوازع سعد وبوادر حظ، من الحكم المستنصر؛ فقربه وصرفه في مهم الأمانات وأصنافها؛ فاجتهد وبرز في كل ما قلده، واضطلع بجميع ما حمله.
وكان الحكم، لشدة نظره في الحدثان، يتخيل في محمد بن أبي عامر أكثر الصفات المجتمعة إلى النسب والبلدة. وكان يجد القائم عليهم من الجزيرة الخضراء، أصفر الكفين. فيقول لخاصته: (ألا ترون صفرة كفيه؟) فإذا قالوا له: (أرح نفسك منه!) يقول: (لو كانت به شجة، لكانت تكملة صفاته) . فكان من قدر الله أن حدثت الشجة بمحمد بعد موت الحكم بضرية غالب