اتحاديه مسلمين‌ اين تشكل را مهدى سراج انصارى از علماى معروف و مبارز آذربايجانى به سال ١٣٢٥ تأسيس كرد. او از خانواده‌اى روحانى و صاحب آثارى مكتوب در دفاع از دين و از نويسندگان فعال نشريات مذهبى ازجمله آيين اسلام و نور دانش بود.
انصارى براى مبارزه با افكار منحرف كسروى، جمعيت مبارزه با بى دينى را تشكيل داد و كتاب نبرد با بى دينى را در پاسخ به شبهات او نوشت. پس از قتل كسروى در اسفند ١٣٢٤ به دست فدائيان اسلام فلسفه وجودى جمعيت مبارزه با بى دينى از بين رفت و انصارى «اتحاديه مسلمين» را بنيان نهاد.
ترويج و دفاع از اسلام، پاسخ به شبهات كسروى، رد عقايد ماركسيستى و تلاش براى وحدت جهان اسلام از مهم‌ترين محورهاى فعاليت اتحاديه بود.
اتحاديه از مبارزات مردم فلسطين، پاكستان، كشمير، تونس، الجزاير و مراكش حمايت مى‌كرد.
اين اتحاديه در بسيارى از شهرستانها نيز داراى شعبه بود و ارگان آن «هفته نامه مسلمين» نام داشت. عبدالحسين كافى، سيدغلامرضا سعيدى، على اكبر تشيد، منوچهر علايى، سيدجلال الدين گوشه و محمد جناب زاده از اعضاى آن بودند. سازمان جوانان اتحاديه مسلمين نيز به دست ولى اللَّه يوسفيه رياست مى‌شد و نايب رئيس هيئت مديره اتحاديه، احمد اخگر بود. اتحاديه در زمان اختلافات بين رهبران نهضت ملى شدن نفت جانب دكتر مصدق را گرفت. «١» جمعيت هواداران تشيع‌ اين جمعيت را نيز مهدى سراج انصارى تأسيس كرد و عمده تلاش آن دفاع از شيعه بود. انصارى، كه خود اهل قلم بود، به مبارزه فكرى با افكار انحرافى احمد