الأفضل شاهنشاه بن أمير الجيوش بدر الجماليّ في شعبان سنة ثمان وسبعين وأربعمائة، وبلغت النفقة على بنائه ستة آلاف دينار، وإنما قيل له جامع الفيلة لأنّ في قبلته تسع قباب في أعلاه ذات قناطر، إذا رآها الإنسان من بعيد شبهها بمدّرعين على فيلة، كالتي كانت تعمل في المواكب أيام الأعياد، وعليها السرير وفوقها المدّرعون أيام الخلفاء، ولما كمل أقام في خطابته الشريف الزكيّ أمين الدولة أبا جعفر محمد بن محمد بن هبة الله بن عليّ الحسينيّ الأفطسيّ النسابة الكاتب الشاعر الطرابلسيّ، بعد صرفه من قضاء الغربية، فلما رقى المنبر أوّل خطبة أقيمت في هذا الجامع قال: بسم الله الحمد لله، وأرتج عليه فلم يدر ما يقول، وكان هناك الشيخ أبو القاسم عليّ بن منجب بن الصيرفيّ الكاتب، وولده مختص الدولة أبو المجد، وأبو عبد الله بن بركات النحويّ، ووجوه الدولة. فلما أضجر من حضر نزل عن المنبر وقد حمّ، فتقدّم قيم الجامع وصلّى ومضى الشريف إلى داره فاعتلّ ومات.
وكان قد ولي قضاء عسقلان وغيرها، ثم قدم إلى مصر فولي الحكم بالمحلة، وولي ديوان الأحباس، وكان أحد الأعيان الأدباء العارفين بالنسب، ومن الشعراء المجيدين والنحاة اللغويين، ولد بطرابلس الشام في سنة اثنتين وستين وأربعمائة، وقدم إلى القاهرة في سنة إحدى وخمسمائة، ومدح الأفضل، ومات في سنة سبع عشرة أو ثمان عشرة وخمسمائة، وقد ترشح للنقابة بمصر ولم ينلها مع تطلعه إليها، وذيل كتاب أبي الغنائم الزيديّ النسابة، ومن شعره بديها، وقد نام مع جاريته على سطوح فطلع القمر عليهما فارتاعا من كشف الجيران عليهما:
ولمّا تلاقينا وغاب رقيبنا ... ورمت التشكي في خلو وفي سرّ
بدا ضوء بدر فافترقنا لضوئه ... فيا من رأى بدرا ينمُّ على بدر
وأهل المطالب يذكرون أنّ الأفضل وجد بموضع الصهريج مطلبا، فختم عليه أشهرا إلى أن نقله وعمله صهريجا وبنى عليه هذا المسجد، وهذا الشرف الذي عليه جامع الفيلة منظرة في غاية الحسن، لأنّ في قبليه بركة الحبش وبستان الوزير المغربيّ والعدوية ودير النسطورية وبئر أبي سلامة، وهي بئر مدوّرة برسم الغنم، وبئر النعش، كان يستقي منها أصحاب الزوايا، وهي بجوار عفصة الصغرى، وهي بئر أبي موسى بن أبي خليد، وسميت بئر النعش لأنها على هيئة النعش، وماؤها يهضم الطعام وهو أصح الأمواه، وشرقيّ هذا الجبل: جبل المقطعم والجبانة والمغافر والقرافة وآخر الأكحول وريحان ورعين والكلاع والأكسوع، وغربيّ هذا الجبل: المعشوق والنيل وبستان اليهوديّ إلى القبلة، وطموه والأهرام وراشدة، وبحريّ هذا الجبل بستان الأمير تميم، وقنطرة خليج بني وائل، ودير المعدّلين، وعقبة بحصب، ومحرى قسطنطين، والشرف وغير ذلك. وهذا الجامع لا تقام فيه اليوم جمعة ولا جماعة لخراب ما حوله من القرافة وراشدة، وينزل فيه أحيانا طائفة من العرب بإبلهم يقال لهم المسلمية، وعما قليل يدثر كما دثر غيره.