كثرت غارات الصليبيين على الشام في أواخر العصر الفاطمي مما دفع بالفاطميين إلى الدخول في مواجهات عسكرية معهم وإجلائم عن القدس وعسقلان في عام ٤٩١ هـ على يد الأفضل بن أمير الجيوش..

والأفضل هذا هو الذي حمل رأس الحسين وكان مدفونا في عسقلان فأخرجه وعطره وحمله في سفط إلى أجل دار بها وعمر المشهد. فلما تكامل حمل الأفضل الرأس الشريف على صدره وسعى به ماشيا إلى أن أحله في مقره.. [٨]

وقيل إن المشهد بعسقلان بناه أمير الجيوش بدر الجمالي وكمله ابنه الأفضل.. [٩]

إلا أن الفاطميين خشوا على الرأس من الصليبيين فقرروا حمله إلى القاهرة من عسقلان. وقد وصل الرأس إلى مصر في يوم الأحد ثامن جمادى الآخرة سنة ثمان وأربعين وخمسمائة. وكان الذي وصل بالرأس من عسقلان الأمير سيف المملكة تميم واليها والقاضي المؤتمن ابن مسكين شارفها. وحصل في القصر يوم الثلاثاء العاشر من جمادى الآخرة المذكور.. [١٠]

ويذكر أن الرأس الشريف لما أخرج من المشهد بعسقلان وجد دمه لم يجف وله ريح كريح المسلك. فقدم به الأستاذ مكنون في عشارى من عشاريات الخدمه وأنزال به إلى الكافوري. ثم حمل في السرداب إلى القصر الزمرد. ثم دفن عند قبة الديلم بباب دهليز الخدمة. فكان من يدخل الخدمة يقبل الأرض أمام القبر. وكانوا يتحرون يوم عاشورا عند القبر الإبل والقبر والغنم ويكثرون النوح والبكاء ويسبون من قتل الحسين ولم يزالوا على ذلك حتى زالت دولتهم.. [١١]

وذكر أن أبا صالح طلائع بنى مسجده خارج بابا زويلة ليدفن به الرأس ويفور بهذه الفخار. فغلبه أهل القصر على ذلك. وقالوا: لا يكون ذلك إلا عندنا. فعمدوا إلى هذا المكان وبنوه له. ونقلوا الرخام إليه. وذلك في خلافة الفائز على يد طلائع في سنة تسع وأربعين وخمسمائة.. [١٢]