وربما كان السبب الحقيقي في استجابته لليهود أنه كان يخشى من تغلغل النصرانية في بلاده وأن يفتح ذلك الأبواب لنصارى الحبشة، فيستولوا عليها بدون مقاومة على أن الأحباش سرعان ما انتقموا لإخوانهم، فأزالوا دولة ذي نواس سنة ٥٢٥ وظلوا نحو خمسين عامًا؛ حتى أجلاهم عنها أهلها بمساعدة الفرس.
ويظهر أن هذه الفترة التي قضاها الأحباش النصارى هناك كانت سببًا في تفرق اليهود وخروج كثيرين منهم من اليمن وتشتتهم في البلاد. ولكن ظلت بقايا هناك، دخل كثيرون منها في الإسلام من مثل كعب الأحبار ووهب ابن منبه، ولهما في الإسرائيليات التي شاعت بين المسلمين ومؤرخيهم أثر كبير.
وأهم من يهود اليمن يهود الحجاز، وكانوا قبائل وجماعات كثيرة انتشرت في واحات الحجاز: يثرب وخيبر ووادي القرى وتيماء، وكان في يثرب منهم عشائر كثيرة أهمها بنو النضير وبنو قريظة وبنو قينقاع وبنو بهدل، وقد نزل بينهم الأوس والخزرج كما قدمنا، وفرضت القبيلتان عليهم سيادتهما. وكانوا يشتغلون بالزراعة والصياغة والحدادة وصناعة الأسلحة ونسج الأقمشة، وكانوا يعمدون عمدًا إلى الإيقاع بين القبيلتين العربيتين، فاشتبكا في حروب دامية، حتى جمعهما الرسول -صلى الله عليه وسلم- على الإسلام، فأصبح أفرادها بنعمة الله إخوانًا متحابين. وناهض اليهود الرسول؛ فكانوا يثيرون معه مناقشات ومجادلات صورَّها القرآن الكريم، وذهبوا يحاولون الوقيعة بين المسلمين، ويؤلبون عليهم قريشًا وغير قريش، مما اضطر الرسول -عليه السلام- إلى إجلائهم عن المدينة. وفي السيرة النبوية لابن هشام وطبقات ابن سعد ما يدل على أنهم كانوا يتدارسون دينهم في دار ندوة لهم تسمى المدارس وأنهم كانوا يقرأون التوراة والمشنة والزبور "مزامير داود" بلغتهم القديمة العبرية؛ ولكنهم اتخذوا العربية لغتهم اليومية، ونظم فيها بعضهم شعرًا عربيًّا.
وعلى نحو ما تعرب يهود يثرب تعرب يهود خيبر ووادي القرى وفدك وتيماء، واشتهر بينهم غير شاعر كالسموأل بن عادياء، وقد قاوموا الإسلام وأظهروا له العداوة والبغضاء، فحاربوا الرسول، وانتصر عليهم، ولم يلبث عمر أن أمر بإجلاء كل من ليس له عهد منهم، فخرج جمهورهم من الجزيرة، ولم يبق منهم إلا نفر قليل. وليس بين أيدينا ما يدل أي دلالة على أنهم خلفوا آثارًا واضحة في الجاهليين.