Saat itu tahun 637 M, pasukan Islam yang dipimpin Khalid bin Walid dan Amr bin Ash berhasil mengepung Yerusalem. Inilah pertama kalinya Islam siap memasuki kota suci tiga agama yang saat itu dalam penguasaan Kerajaan Bizantium.
Uskup Sophronius, yang merupakan kepala gereja kristen Yerusalem dan perwakilan Bizantium di sana menolak menyerahkan kota. Dia akan menyerahkan kota jika pemimpin tertinggi umat Islam, yaitu Khalifah Umar bin Khattab RA. datang sendiri ke Yerusalem dan menerima penyerahan darinya.
Umat Islam mengabulkan permintaaan uskup ini. Padahal jika melihat penakhlukan yang ada di Yerusalem selama ini, lazimnya penakhluk tidak akan mengabulkan permintaan seperti itu dan akan membantai seluruh pimpinan dan penduduk kota.
Maka berangkatlah Khalifah Umar dari Madinah menuju Yerusalem. Umar berangkat hanya dengan berkendara keledai dengan ditemani satu orang pengawal atau ajudan. Bahkan di perjalanan sering bergantian naik keledai dengan pengawalnya itu. Setibanya di Yerusalem, orang bersorak dan mengira ajudan Umar adalah sang khalifah, karena dia yang menaiki keledai dan pakaian dua orang ini terlihat sama.
Saat Umar bertemu Sophronius, uskup ini langsung takjub dengan Umar. Dia kagum karena pemimpin muslim yang merupakah salah satu penguasa besar dunia saat itu, ternyata sangat sederhana dan bersahaja. Bahkan pakaian yang digunakan tidak jauh beda dengan yang digunakan pengawalnya. Riwayat lain mengatakan uskup itu sudah tahu bahwa yang di atas keledai bukan khalifah. Karena dia mengetahui nubuwat bahwa penakhluk Yerusalem berikutnya datang dengan menuntun keledai.
Uskup lalu mengajak Khalifah Umar tour keliling Yerusalem. Saat sampai di Gereja Makan Suci, yang diyakini tempat Yesus atau Isa AS dimakamkan, tibalah waktu sholat. Sophronius lalu mempersilahkan Umar untuk shalat di dalam gereja itu namun Umar menolaknya. Umar menolak bukan karena tidak mau sholat di dalam gereja, tapi dia khawatir kalau seandainya dia sholat di situ, nanti umat Islam akan mengubah gereja ini menjadi masjid dengan alasan Umar pernah sholat di sana.
Maka Umar kemudian memilih sholat di luar gereja agar di kemudian hari gereja tetap berdiri dan hak umat Nasrani tidak dizalimi. Saat ini, tempat Umar sholat dibangun menjadi Masjid Umar yang berdampingan dengan Gereja Makam Suci.
Umar kemudian berjalan ke Komplek Masjidil Aqsa. Lokasi ini juga dikenal sebagai area Haikal Sulaiman (Solomon Temple) dan disucikan oleh umat Yahudi. Inilah tempat di mana dahulu Nabi Muhammad SAW mikraj menuju Sidratul Muntaha. Tempat itu juga merupakan kiblat pertama Umat Islam.
Namun saat Umar sampai di sana, yang dilihatnya adalah tumpukan sampah. Umat Nasrani sengaja menjadikan tempat itu sebagai pembuangan sampah untuk menghina atau balas dendam dengan orang Yahudi.
Umar bersama pasukan Islam dan beberapa orang Yahudi kemudian kerja bakti membersihkan tempat itu. Renovasi komplek suci Masjidil Aqsa ini terus dilakukan sampai pada tahun 691 M, Kubah Batu atau Dome of The Rock berdiri dan menjadi land mark Yerusalem.
Saat menakhlukkan Yerusalem, Umar juga membuat perjanjian hubungan baik dengan umat Nasrani dan Yahudi. Umat Nasrani diberi kebebasan tinggal dan menjalankan keyakinan dan ibadahnya, demikian pula dengan umat Yahudi. Inilah kali pertama umat Yahudi diperbolehkan mempraktikkan agamanya di kota suci tersebut, sejak pengusiran mereka oleh orang Romawi setengah abad sebelumnya.
Perjanjian ini adalah langkah kemajuan karena biasanya penguasa baru akan membantai semua penduduk dan menghancurkan tempat ibadah. Tapi itu tidak dilakukan Umar dan pasukan Islam.
Bahkan di kemudian hari saat Pasukan Salib berhasil merebut kembali Yerusalem, mereka tetap membantai semua penduduk non Nasrani di sana. Kejadian sadis dan memilukan itu terekam dari catatan pasukan salib, sebagaimana dikutip Graham E. Fuller dalam bukunya A World Without Islam (2010):
The Catholic Encyclopedia melaporkan dengan singkat padat: “orang-orang Kristen masuk ke Yerusalem dari segala sisi dan membantai penduduknya tanpa memedulikan usia atau jenis kelamin”. Fulcher dari Chartres, seorang prajurit Perang Salib yang ikut serta dalam penaklukan itu, menulis: “Sungguh, seandainya anda berada di situ, anda akan menyaksikan tumit kaki-kaki kami basah dengan darah orang yang terbunuh. Tetapi, apalagi yang bisa saya ceritakan? Tak seorang pun dari mereka tersisa hidup-hidup; kaum wanita ataupun anak-anak tak ada yang disisakan.”
Namun saat Salahudin Al Ayubi (Sultan Saladin) berhasil menakhlukkan kembali Yerusalem, yang dilakukan pasukan Islam tetap sama seperti di zaman Umar dulu: tidak membantai umat lain di sana dan memberi kebebasan beribadah. Karena itulah sejatinya ajaran Islam yang rahmatan lil alamin.