أبو بكر رجلاً بكَّاءً، لا يملك عينيه إذا قرأ القرآن. وأفزع ذلك أشرافَ قريش من المشركين. فأرسلوا إلى ابن الدُّغُنَّة فقدم عليهم، فقالوا: إنا كنا أجرنا أبا بكر بجوارك على أن يعبد ربه في داره، فقد جاوز ذلك فابتنى مسجداً بفِناء داره فأعلن بالصلاة والقراءة فيه وإنا قد خشينا أن يَفتن نساءنا وأبناءنا فانْهه، فإن أحب أن يقتصر على أن يعبد ربَّه في داره فعل، وإن أبى إلا أن يعلن ذلك فسَلْه أن يردَّ إِليك ذمتك، فإنا قد كرهنا أن نخفِرَك، ولسنا مقرين لأبي بكر الإستعلان. قالت عائشة رضي الله عنها: فأتى ابن الدُّغُنَّة إلى أبي بكر فقال: قد علمتَ الذي عاقدتُ لك عليه، فإما أن تقتصر على ذلك، وإِما أن تُرجع إليَّ ذمتي فإني لا أُحب أن تسمع العرب أني أُخفرتُ في رجل عقدت له. فقال أبو بكر: فإني أردُّ إليك جوارَك وأرضى بجوار الله عزَّ وجلَّ - فذكر الحديث بطوله في الهجرة.
وأخرج أيضاً ابن إسحاق بنحوه، وفي سياقه: فخرج أبو بكر مهاجراً، حتى إِذا سار من مكة يوماً أو يومين لقيه ابن الدُّغُنَّة - وهو يومئذٍ سيد الأحابيش -، فقال: إِلى أين يا أبا بكر؟ قال: أخرجني قومي وآذَوْني وضيَّقوا عليَّ. قال: ولم؟ فوالله إنك لتزيِّن العشيرة، وتعين على النوائب، وتفعل المعروف، وتكسب المعدوم؛ إرجع إنَّك في جواري. فرجع معه حتى إذ دخل مكة قام معه ابن الدُّغُنَّة فقال: يا معشر قريش. إنِّي قد أجرت ابن أبي قحفة فلا يُعرض له أحد إلا بخير. قال: فكفُّوا عنه، وفي آخره فقال: يا أبا بكر، إِني لم أُجرك لتؤذيَ قومك، وقد كرهوا مكانك الذي أنت به وتأذَّوا بذلك منك، فأدخل بيتك فصنع فيها أحببت. قال: أو أردُّ عليك جوارك وأرضى بجوار الله؟. قال: فارددْ عليّ جواري. قال: قد رددته عليك. قال: فقام ابن الدُّغُنَّة فقال: يا معشر قريش، إن ابن أبي قحافة قد ردّ عليَّ جواري، فشأنكم بصاحبك، كذا في البداية.