فدفنه الحسنان وخواص أقاربه ليلا ، فذهب جماعة من المخالفين إلى أنه دفن في رحبة الكوفة ، وبعضهم إلى أنه دفن في المسجد ، وقيل : دفن في قصر الإمارة ، وقيل : دفن في بيته ، وكان بعض جهلة الشيعة يزورونه بمشهد في الكرخ ، ثم أئمتنا عليهم‌السلام عرفوا موضع قبره بعض خواص الشيعة فاجتمعت الشيعة وتواترت رواياتهم على أنه مدفون في الغري في الموضع المعروف عند الخاص والعام ، وارتفع الخلاف ، وقد كتب السيد النقيب الجليل عبد الكريم بن أحمد بن طاوس كتابا في تعيين موضع قبره عليه‌السلام ورد أقوال المخالفين في ذلك سماه فرحة الغري وأورد فيه أخبارا كثيرة أوردناها في كتابنا الكبير.

وقال ابن أبي الحديد في شرح النهج : وروى أبو الفرج الأصفهاني بإسناده عن الأسود الكندي والأجلح قالا : توفي علي عليه‌السلام وهو ابن أربع وستين سنة ، وفي عام أربعين من الهجرة ليلة الأحد لإحدى وعشرين ليلة مضت من شهر رمضان ، وولي غسله ابنه الحسن فكبر عليه خمس تكبيرات ، ودفن بالرحبة مما يلي أبواب كندة عند صلاة الصبح ، هذه رواية أبي مخنف ، قال أبو الفرج : وحدثني أحمد بن سعيد بإسناده عن الحسن بن علي الحلال عن جده قال : قلت للحسين بن علي عليه‌السلام : أين دفنتم أمير المؤمنين عليه‌السلام؟ قال : خرجنا به ليلا من منزله حتى مررنا به على منزل الأشعث ، حتى خرجنا به إلى الظهر بجنب الغري.

قال ابن أبي الحديد : وهذه الرواية هي الحق وعليها العمل ، وقد قلنا فيما تقدم : أن أبناء الناس أعرف بقبور آبائهم من غيرهم من الأجانب ، وهذا القبر الذي بالغري ، هو الذي كان بنو علي يزورونه قديما وحديثا ، ويقولون : هذا قبر أبينا لا يشك أحد في ذلك من الشيعة ولا من غيرهم أعني بني علي من ظهر الحسن والحسين وغيرهما من سلالة المتقدمين منهم والمتأخرين ، ما زاروا ولا وقفوا إلا على هذا القبر بعينه.