أما نسبه من جهة أمه، فقد ذكر في (تذكرة الحفاظ) أن أبا نعيم هو سبط- [ولد الولد و يغلب إطلاقه على ابن البنت‌]- محمد بن يوسف البناء، و محمد بن يوسف البناء هذا كان عابدا، زاهدا، له شهرته في تلك البلاد، و له ذكر في غيرها من بلاد الإسلام و المسلمين، تخرج عليه جماعة من العباد الزهاد، قال عنه أبو نعيم في مقدمته لحلية الأولياء: «فقد كان جدي محمد بن يوسف البناء (رحمه اللَّه)، أحد من نشر اللَّه عزّ و جلّ به ذكر بعض المنقطعين إليه، و عمّر به أحوال كثير من المقبلين عليه»، ترجم له ابن الجوزي في (صفة الصفوة) و عدّه من المصطفين من أهل أصبهان.

و في يوم مشرق من أيام رجب عام ست و ثلاثين و ثلاثمائة، كانت الولادة السعيدة لأبي نعيم، ولد ولادة عادية. دون أن يدري أحد من مستقبل هذا الطفل شيئا، و ما أن فتح عينيه إلى النور، حتى رأى الناس جميعا و ميض الذكاء فيهما، فتنبئوا له بمستقبل زاهر، إن تمّ له ما يتطلبه هذا الذكاء الفذّ من رعاية و توجيه.

بدت معالم الذكاء على أبي نعيم منذ نعومة أظفاره، و لذلك وجّهه والده الوجهة العلمية، لأن ذلك أحسن ميدان للذكاء، تتفتّح فيه العبقرية، و يعظم الأثر، و فعلا فقد بدأ الغلام بمجالسة العلماء، و السماع منهم في سنّ مبكرة جدا، و لم تمض سنوات حتى ذاع صيته بين العلماء، و امتدت شهرته في الآفاق، و أجاز له مشايخ الدنيا سنة نيف و أربعين و ثلاثمائة، و قد كان له من العمر ست سنين.

فأجاز له من واسط: المعمر عبد اللَّه بن عمر بن شوذب، و من نيسابور: شيخها أبو العباس الأصمّ، و من الشام: شيخها خيثمة بن سليمان الأطرابلسي، و من بغداد: جعفر الخلدي، و أبو سهل بن زياد، و غيرهم خلق كثير، كلهم من علية القوم و رءوس العلماء، و قد كان بعض هؤلاء الذين أجازوه ممسكا عن الإجازة، و مع ذلك فقد أجازوا لأبي نعيم. قال الذهبي: و أجازه طائفة تفرّد في الدنيا بإجازتهم».

و لم يكن أبو نعيم من الذين يفترون بذكائهم و قوة حافظتهم فيعرضون عن الدّأب، بل كان يرى أن ما وهبه اللَّه من قوة الحافظة نعمة يجب أن يستغلها حق الاستغلال، مؤديا حق اللَّه تعالى فيها، و لذلك كان دائبا على العلم، عاكفا على المطالعة، فلم تكن تراه إلا مدرّسا، أو دارسا، أو مصنّفا، حتى قال عنه أحمد بن محمد بن مردويه: «لم يكن له غذاء سوى التسميع و التصنيف»، فاجتمعت لأبي نعيم الأسباب الرئيسية التي تحمل الإنسان إلى المراتب، و هي الذكاء، و الدأب، و اللذة بما يعمل، فقد وصل أبو نعيم فعلا إلى أعلى المراتب العلمية في عصرة، و أطلق عليه ابن كثير في (البداية و النهاية) لقب «الحافظ الكبير»، فقال: أبو نعيم هو الحافظ الكبير ذو التصانيف المفيدة الكثيرة الشهيرة. و قال عنه ابن خلكان في (وفيات الأعيان): كان أبو نعيم من أعلام المحدثين و أكابر الحفاظ الثقات. أما الحافظ الذهبي، فقد أطلق عليه «محدّث العصر» فقال: أبو نعيم الحافظ الكبير محدّث العصر ... رحلت الحفاظ إلى بابه لعلمه و حفظ أسانيده. و يقول أحمد بن محمد بن مردويه: كان أبو نعيم في وقته مرحولا إليه، لم يكن في أفق من الآفاق أحد أحفظ منه و لا أسند منه، فإن حفاظ الدنيا قد اجتمعوا عنده، و كل يوم نوبة أحد منهم، يقرأ ما يريده إلى قريب الظهر، فإذا قام أبو نعيم إلى داره، ربما كان يقرأ عليه في الطريق جزءا، و كان لا يضجر. أما الخطيب البغدادي فإنه يقول: لم أر أحدا أطلق عليه اسم الحافظ غير أبي نعيم و أبي حازم العبدري.