يعود تاريخ مسجد موسكو الكبير إلى عام 1902، عندما تقدم التاجران باقيروف وعقبولاتوف بطلب للحصول على قطعة الأرض التي بني عليها المسجد اليوم، بهدف إنشاء مسجد ثانٍ في موسكو. بفضل تبرع التاجر المسلم صالح يوسوبوفيتش الذي تكفل بكافة تكاليف البناء، افتتح المسجد عام 1904 وكان يتسع حينها لحوالي 200 مصلٍ.

خلال الثورة البلشفية عام 1917، تم إغلاق معظم الكنائس في روسيا وهدم العديد منها، إلا أن جامع موسكو الكبير بقي مفتوحاً لاستقبال المصلين. لاحقاً، استخدم الحزب الشيوعي المسجد لتعزيز علاقاته مع الدول العربية والإسلامية، مما أظهر احترامهم للدين الإسلامي. واستُقبل فيه العديد من زعماء الدول الإسلامية، أبرزهم الزعيم المصري جمال عبد الناصر، وأول رئيس لإندونيسيا أحمد سوكارنو، والعقيد الليبي معمر القذافي.

بحلول عامي 2009 و2010، تعرض المسجد القديم لتشققات كبيرة بسبب تراكم المياه الجوفية أسفله، نتيجة مرور أحد فروع نهر نيجلينكا تحت أرضه. وتقرر هدم المبنى القديم وبناء مسجد جديد يتناسب مع تزايد أعداد المسلمين في موسكو. قاد السيناتور سليمان سليمانوف من جمهورية داغستان جهود تمويل البناء الجديد، بالإضافة إلى التبرعات من داخل روسيا وخارجها.

في عام 2015، تم إعادة افتتاح مسجد موسكو الكبير بحضور عدد من الشخصيات البارزة، مثل الرئيس الروسي فلاديمير بوتين، والرئيس الفلسطيني محمود عباس، والرئيس التركي رجب طيب أردوغان، وعدد من القادة العرب والمسلمين.

استوحي تصميم القبة من قباب موسكو الذهبية الشهيرة، وزُينت بآيات قرآنية وطُليت بـ 12 كيلوجراماً من الذهب. المسجد الجديد يتسع لـ 10,000 مصلٍ في وقت واحد، ويحتوي على أربع مصاعد وثريا كريستال تزن 2 طن، تحتوي على 350 مصباحاً عملاقاً. اليوم، يعد المسجد أحد أكبر مساجد أوروبا، ويعمل كمركز ثقافي وتعليمي لتدريس العلوم الإسلامية.