قرر الإبراهيمي العودة إلى الجزائر سنة 1920، وفي مخيلته فكرة حركة تحيي الإسلام والعربية في الوطن وتنشر العلم، وتبعث الأمة، وأعجب بعد وصوله بالنتائج المثمرة التي حققها ابن باديس الذي كان يقود حركة ثقافية وصحفية بمدينة قسنطينة، فأقام بمدينة سطيف وأنشأ بها مدرسة ومسجدا بعد أن رفض الوظيفة التي عرضت عليه من طرف السلطات الفرنسية، وتعاطى التجارة ليقوم بأوَد عائلته، وبقي على اتصال بابن باديس. وخلال هذه المرحلة تردد على مدينة تونس حيث كان يقيم أصهاره، وحيث كانت له صداقات في الأوساط العلمية والأدبية. وفي عام 1931 تأسست جمعية العلماء المسلمين الجزائريين، كرد فعل إيجابي على احتفال فرنسا بمرور قرن على احتلال الجزائر، بعدما أيقنت أن الجزائر قد أصبحت إلى الأبد قطعة منها، مسيحية الدين، فرنسية اللسان، فجاء شعار الجمعية صارخا مدويا في وجه فرنسا، وراسما طريق الخلاص منها “الْإِسْلَامُ دِينُنَا، وَالْعَرَبِيَّةُ لُغَتُنَا، وَالْجَزَائِرُ وَطَنُنَا”. ووضع الإبراهيمي دستور الجمعية وقانونها الأساسي، وأصبح نائبا لرئيسها الإمام ابن باديس، ومنذ عام 1933 تكفل بالمقاطعة الغربية من القطر، واختار مدينة تلمسان مركزا لنشاطه المكثف، وأسس فيها “مدرسة دار الحديث” سنة 1937، بنيت على نسق هندسي أندلسي أصيل، فكانت مركز إشعاع ديني وعلمي وثقافي، واحتوت على مدرسة ومسجد وقاعة محاضرات. وبعد أن رفض الإبراهيمي رفضا قاطعا كل محاولات فرنسا لإغرائه واحتوائه، أو تثبيط عزيمته، قررت السلطات الاستعمارية نفيه إلى قرية آفلو في الجنوب الغربي من الوطن، في مطلع الحرب العالمية الثانية. وبعد أسبوع من نفيه تلقى خبر وفاة رفيقه الإمام عبد الحميد بن باديس- رحمه الله-، وخبر اجتماع أعضاء الجمعية وانتخابهم له رئيسا رغم الضغوط الفرنسية الرامية إلى انتخاب غيره، فتحمل مسؤولية قيادة الجمعية غيابيا، وتولى إدارتها بالمراسلة طول الأعوام الثلاثة التي قضاها في المنفى، وبعد إطلاق سراحه عام 1943، أصبح قائدا للحركة الدينية والعلمية والثقافية في الجزائر، يجوب ربوعها معلما وموجها ومرشدا، يوحد الصفوف ويؤسس المدارس والمساجد والنوادي ويهيئ العقول لساعة الصفر التي كانت تخطط لها نخبة من الحركة السياسية.
من كتاب -أثار الإمام محمد البشير الإبراهيمي-