ولدًا ظلوا يلون أمر قومهم وخدمة البيت الحرام حتى نافسهم فيها أبناء خؤولتهم من جرهم بعد أن تلاحقت بطونهم إلى مكة، وأزاحوهم فتفرقوا حولها وأسفلها.
ولم يلبث الجرهميون بدورهم أن فاجأتهم هجرة للأزد من اليمن وعلى رأسها خزاعة فأزاحتهم إلى ظاهر مكة كما أزاحواهم أبناء إسماعيل وبطون كنانة من قبل، وتفرقوا حولها وفي تهامة.
وولي عمرو بن لحي كبير خزاعة الحكم وشئون البيت. ولأمر أو آخر نسبت الروايات العربية إليه، أو إلى عمرو بن ربيعة المعروف بعمر بن يحيى، أنه بدل دين إبراهيم وأدخل عبادة الأصنام واستقدم بعضها من جنوب الشام. وعمل على إقامتها حول الكعبة، ربما ليغري أتباعها بزيارتها والائتناس بها كلما رحلوا إلى الحجاز، مع تقريب ما بينهم وبين شعائرها بعد أن قل وفودهم إليها اتقاء لبغي جرهم وما قيل عن تعديها على قوافل التجارة المارة بها وقوافل الحج القاصدة إليها.
وظل أمر خزاعة في يدها حتى نجح قصي الجد القديم للرسول عليه السلام، في فترة ما من القرن الخامس الميلادي، في تزعم قريش، وقريش بطن من كنانة، وكنانة من مضر، أو هي من قبائل تهامة، كما يقول النَّسابون. ويبدو أنها عاشت قبل عهده متفرقة حول مكة في تهامة أو عاشت لفترة قبل ذلك في شمال غرب الحجاز حيث اختلطت هناك ببقايا دويلاته القديمة من اللحيانيين والأنباط ومن عايشهم في أرضهم من جاليات المعينيين والحميريين الجنوبيين، واكتسبت منهم بعض عناصر حضارتهم. كما مهرت في ممارسة التجارة حتى لقد قيل: إنها سميت قريشًا لاحترافها التجارة، والتقرش هو التجمع والاكتساب والتجارة.
وثمة نص للملك الحضرمي إيلعز يليط من حوالي القرن الثالث الميلادي تحتمل دلالته على أن موكب الملك إلى الحصن الملكي أنود قد تضمن عشر نساء قرشيات. ولو صحت هذه القراءة لزكَّت قدم قريش واتصال بعض بطونها بجنوب شبه الجزيرة العربية أيضًا.
وسلك قصي زعيم قريش سبيل السياسة أولًا، فأصهر إلى زعيم خزاعة حتى إذا ما ارتفع شأنه وبان ضعفها انقلب عليها، وربما استعان عليها ببطن من قضاعة قد يكون من الغساسنة أو ممن والاهم. وأجلى خزاعة عن مكة هم ومن والاهم من بكر فارتحلوا إلى بطن مر في وادي فاطمة حيث انضمت إليهم فيما بعد بطون من كنانة وخزيمة بن مدركة وحالفوهم، وأطلق عليهم مع مر الزمن اسم الأحابيش بمعنى الموالي أو شيء من هذا القبيل، وربما عاش في مجتمعهم جماعات من أصول أفريقية ضمت رقيق التجارة والحروب ومن إليهم.
وضمت قريش حضرًا وبدوًا. وعاش حضرها في داخل مكة واقتسموها