وعندما دخلت القوات الفرنسية سورية عام ١٩٢٠، رفع القسام راية المقاومة ضد المستعمرين الفرنسيين في الساحل الشمالي لسورية، وكان في طليعة المجاهدين الذين حملوا السلاح في الثورة (١٩١٩ـ ١٩٢٠) مع المرحوم عمر البيطار، فقد ترك قريته على الساحل، وباع بيته - وهو كل ما يملك - واشترى أربعًا وعشرين بندقية، وانتقل بأسرته إلى قرية جبلية ذات موقع حصين.

حاول الفرنسيون إقناع الشيخ القسام بترك الثورة والرجوع إلى بيته وإغرائه بالمناصب، إلاّ أنه رفض عرضهم، ونتيجة لإصراره على خط الجهاد حكم عليه الديوان العرفي الفرنسي في اللاذقية وعلى مجموعة من أتباعه بالإعدام، وطارده الفرنسيون فقصد دمشق ومنها إلى فلسطين.

عاش القسام ورفاقه في حيفا، ونزلت عائلاتهم في بيت واحد في الحي القديم من المدينة، وهو الحي الذي يجمع فقراء الفلاحين النازحين من قراهم بعد الاستيلاء عليها وتوطين اليهود المهاجرين إلى فلسطين.

أبدى القسام اهتمامًا حقيقيًا بتحسين أحوال معيشة هؤلاء الفلاحين، وبدأ يكافح الأمية في صفوفهم من خلال إعطاء دروس ليلية، وسرعان ما أصبح فلاحو المنطقة الشمالية وعمالها يكنون له المودة والاحترام بفضل زياراته المتكررة لهم وبما يتسم به من أصالة في الخلق والتقوى.

عمل القسام مدرسًا في المدرسة الإسلامية بحيفا، وكان يحرص على لفت أنظار الطلاب إلى الدور المستقبلي الذي ينتظرهم في ظل وجود الاستعمار، ثم عمل إمامًا وخطيبًا في جامع الاستقلال بموافقة من مفتي القدس وزعيم الحركة الوطنية الحاج محمد أمين الحسيني، واتجه القسام في أسلوبه إلى توعية الشعب الفلسطيني بالأخطار الماثلة أمامه، وكان يكثر من القول: (بأن اليهود ينتظرون الفرصة لإفناء شعب فلسطين، والسيطرة على البلد وتأسيس دولتهم)