أرسل الخليفة أبو بكر الصديق عدة جيوش سنة 633 لفتح بلاد الشام بقيادة عمرو بن العاص ويزيد بن أبي سفيان وشرحبيل بن حسنة وأبي عبيدة بن الجراح، فهزم يزيد الروم في وادي عربة جنوب البحر الميت وتعقبهم حتى غزة في عام 634. وأحرز عمرو بن العاص انتصارات كبيرة على الروم في معركة أجنادين عام 634 وفتح فحل وبيسان واللد ويافا، وحينما تولى ثيودوروس أخو الإمبراطور الروماني هرقل قيادة الجيش الروماني أمر أبو بكر الصديق قائده خالد بن الوليد بالتوجه من العراق إلى فلسطين. توفي الخليفة أبو بكر الصديق وتولى الخلافة من بعده عمر بن الخطاب، فأمر الجيوش الإسلامية الموجودة في فلسطين بمواصلة القتال لاستكمال الفتح، وأمر خالد بن الوليد بتوحيد الجيوش الإسلامية في جيش واحد، واشتبك خالد مع الروم في معركة اليرموك التي شكل نصر المسلمين فيها لحظة حاسمة في تاريخ فلسطين، إذ تم فيها طرد الرومان منها. اشترط البطريرك صفرونيوس أن يتسلم الخليفة عمر بن الخطاب بنفسه مدينة القدس التي كانت تسمى آنذاك “إيلياء”، فحضر عمر إلى فلسطين وكتب للمسيحيين عهداً أمنهم فيه على كنائسهم وصلبانهم، واشترط فيه ألا يسكن أحد من اليهود تلك المدينة المقدسة. ومنذ ذلك الحين تدفقت القبائل العربية من سوريا والحجاز ونجد واليمن وسكنت الأراضي الفلسطينية التي أصبح معظم أهلها مسلمين، وأصبحت اللغة العربية هي اللغة السائدة.