خبرگان حق ندارند جانشين امام و منصوب از ناحيه او را بدون دليل كنار بگذارند. اما اگر شرايط و صلاحيّت لازم براى رهبرى را از دست داد، كار مجلس خبرگان تشخيص فقدان شرايط و عدم صلاحيّت براى رهبرى است و نه عزل «ولىّ فقيه»؛ يعنى با از دست دادن شرايط كشف مى‌شودكه او ديگر از طرف معصوم عليه السلام براى ولايت امر مسلمين مشروعيّتى ندارد و از ناحيه او معزول است. و خبرگان، در شناسايى چنين موقعيّتى و منعذل شدن فقيه ولىّ، از ولايت، نقش دارند.
چنان كه در اصل يكصد و يازده قانون اساسى آمده است:
«هر گاه رهبرى از انجام وظايف قانونى خود ناتوان شود يا فاقد يكى از شرايط مذكور در اصول پنجم و يكصد و نهم گردد يا معلوم شود از آغاز فاقد بعضى از شرايط بوده است، از مقام خود بر كنار خواهد شد. تشخيص اين امر به عهده خبرگان مذكور در اصل يكصد و هشتم مى باشد.» «١» آية اللّه جوادى آملى در اين زمينه مى‌فرمايد:
مجلس خبرگان فقط خبره تشخيص انتصاب فقيه يا انعزال است، نه سبب نصب يا موجب عزل، هرگز زمامدار اسلامى، از طرف مردم يا خبرگان، منصوب يا معزول نمى‌گردد. «٢» والسلام‌