يذكر أن جده كان من أهل ريغة واشتغل بطلب العلم ثم رحل إلى الحجاز فوصل الاسكندرية بالعشى. وهو قليل ذات اليد فأحب أن لا يدخلها حتى يسمع فألاً حسناً فقعد قريبا من بابها إلى أن دخل جميع الناس وجاء وقت سد الباب ولم يبق هنالك سواه فاغتاظ الموكل بالباب من إبطائه وقال متهكما ادخل يا قاضي فقال: قاض أن شاء الله ودخل إلى بعض المدارس ولازم القراءة وسلك طريق الفضلاء فعظم صيته وشهر اسمه وعرف بالزهد والورع واتصلت أخباره بملك مصر واتفق أن توفي قاضي الإسكندرية وبها إذا ذاك الجم الغفير من الفقهاء والعلماء وكلهم متشوف للولاية وهو من بينهم لا يتشوف لذلك فبعث إليه السلطان بالتقليد وهو ظهير القضاء وأتاه البريد بذلك فأمر خديمه أن ينادي في الناس من كانت له خصومه فليحضر لها وقعد للفصل بين الناس فاجتمع الفقهاء وسواهم إلى رجل منهم كانوا يظنون أن القضاء لا يتعداه وتفاوضوا في مراجعة السلطان في أمره ومخاطبته بأن الناس لا يرضونه وحضر لذلك أحد الحذاق من المنجمين فقال لهم لا تفعلوا ذلك فإني عدلت طالع ولايته وحققته فظهر لي أنه يحكم أربعين سنة فأضربوا عما هموا به من المراجعة في شأنه وكان أمره على ما ظهر للمنجم وعرف في ولايته بالعدل والنزاهة. ومنهم وجيه الدين الصنهاجي من قضاتها مشتهر بالعلم والفضل. ومنهم شمس الدين ابن بنت التنيسي فاضل شهير الذكر. ومن الصالحين بها الشيخ أبو عبد الله الفاسي من كبار أولياء الله تعالى يذكر أنه كان يسمع رد السلام عليه إذا سلم من صلاته. ومنهم الإمام العالم الزاهد الخاشع الورع خليفة صاحب المكاشفات.
وأخبرني بعض الثقات من أصحابه قال رأى الشيخ خليفة رسول الله صلى الله عليه وسلم في النوم فقال يا خليفة زرنا فرحل إلى المدينة الشريفة وأتى المسجد الكريم فدخل من باب السلام وحيا المسجد وسلم على رسول الله صلى الله عليه وسلم وقعد مستندا إلى بعض سواري المسجد ووضع رأسه على ركبتيه وذلك يسمى عند المتصوفة الترفيق فلما رفع رأسه وجد أربعة أرغفة وآنية فيها لبن وطبقا فيه تمر فأكل هو وأصحابه وانصرف عائدا إلى الاسكندرية ولم يحج تلك السنة. ومنهم الإمام العالم الزاهد الورع الخاشع برهان الدين الأعرج من كبار الزهاد وأفراد العباد لقيته أيام مقامي بالإسكندرية وأقمت في ضيافته ثلاثاً.