Umat Islam pada masa awal hidup dalam masyarakat yang beragam. Jazirah Arab, wilayah kemunculan Islam pertama kali, tidak hanya dihuni satu agama dan satu suku. Ada beragam agama, keyakinan, dan suku menetap di sana. Hubungan umat Islam dengan pemeluk agama lain pada umumnya berlangsung damai, meskipun sesekali ada konflik dan perang di antara mereka. Konflik dan perang itu terjadi bukan karena perbedaan agama, tetapi disebabkan faktor lain di luar agama, seperti pelanggaran dan pengkhianatan terhadap perjanjian yang sudah disepakati.
Relasi Islam dengan pemeluk agama lain pada dasarnya adalah relasi damai, bukan konflik. Hal ini sebagaimana tercermin dalam perilaku Rasulullah sehari-hari. Ketika masih hidup, Rasulullah tidak pernah memaksakan keyakinannya terhadap pemeluk agama lain, apalagi menghunuskan pedang kepada orang yang tidak mau mengikuti ajaran Islam. Islam tidak disampaikan dengan cara kekerasan, tetapi dengan penuh kelembutan. Rasulullah memiliki banyak teman dari pemeluk agama lain, misalnya Mukhairiq, pemuka Yahudi yang menyumbangkan sebagian hartanya untuk perjuangan Rasulullah SAW.
Interaksi Rasulullah dengan pemeluk agama lain itu menjadi acuan para sahabat ketika bergaul dengan non-Muslim, khususnya pada saat menaklukan suatu wilayah. Sebagaimana diketahui, setelah Rasulullah wafat, para khalifah melakukan penyebarluasan kekuasaan dengan menaklukan banyak wilayah. Sebagian wilayah ditaklukan dengan cara yang damai dan tanpa kekerasan. Contohnya adalah penaklukan Yerusalem. Uskup Agung Saphonius, pemegang kuasa Yerusalem, meminta Umar bin Khattab untuk langsung datang ke Yerusalem dan dia ingin menyerahkan langsung kunci gerbang kota kepada khalifah kedua tersebut.
Umar bin Khattab setuju untuk memenuhi undangan Uskup Agung. Dia langsung datang ke Yerusalem ditemani satu orang pengawal. Keduanya mengendarai tunggangan secara bergantian. Zana Muhammad Amin dalam Tasamuh al-Muslimin Ma’a al-Nashara al-Maghlubin menceritakan, tak terlihat kesombongan sedikit pun di wajah Umar saat memasuki kota itu. Saking rendah hatinya, Umar bin Khattab tidak mau menaiki tunggangan yang sudah disiapkan untuknya. Dia memilih jalan kaki, dan meminta pengawalnya untuk menaiki tunggangan tersebut. “Kendaran ini bisa mengubah hatiku, dan aku takut menjadi sombong” Kata Umar bin Khattab.
Dikisahkan dalam sebuah riwayat, ketika memasuki Yerusalem, Khalifah pengganti Abu Bakar itu turun dari tunggangannya. Dia jalan kaki menuju gerbang kota Quds sembari memegang tali ikatan kuda. Di sekitarnya, ada kerumanan anak kecil yang sedang bermain dan mengikuti arah jalan kuda. Umar bin Khattab langsung menaikan mereka ke atas punggung kuda. Sementara dia, tetap jalan kaki, menggiring kuda yang ada anak kecil duduk di atasnya. Uskup Agung terharu melihat kejadian itu. Dia menangis dan mengatakan, “Kekuasaanmu akan kekal, sementara kekuasan yang zalim hanya sementara. Kekuasaan yang adil akan bertahan lama sampai akhir zaman.”
Umar bin Khattab berjanji kepada Saphonius untuk memberi perlindungan penuh kepada penduduk Yerusalem, khususnya pemeluk agama Nasrani. Umat Islam dan pemeluk agama lain diperlakukan secara setara. Kaum Nasrani diberi kebebasan untuk menjalankan ritual ibadah mereka. Gereja dan salib tidak akan dihancurkan. Mereka tidak akan dipaksa masuk Islam. Rumah dan harta mereka akan dijaga, dan tidak akan dirusak oleh umat Islam. Tempat ibadah mereka tidak akan ditempati umat Islam, apalagi diubah menjadi masjid.
Umar bin Khattab pernah diundang suatu kali masuk gereja. Dia memenuhi undangan tersebut dan meminta izin keluar pada saat waktu shalat tiba. Uskup Agung mempersilahkan Umar untuk shalat di dalam gereja, karena dia tahu bahwa Nabi Muhammad tidak melarang Muslim shalat di gereja. Umar bin Khattab menolak tawaran itu. Alasannya, dia tidak mau apa yang dilakukannya itu nanti diikuti oleh umat Islam. Kalau dia shalat di gereja, khawatirnya umat Islam yang beranggap gereja boleh dijadikan tempat shalat, dan mereka mengubah gereja menjadi masjid.
Umar bin Khattab komitmen dalam memberi perlindungan terhadap pemeluk agama lain di wilayah Yerusalem. Dia memegang teguh janji untuk melindungi rumah ibadah, memberi kekebasan penduduk untuk menjalankan ibadah, dan menjaga harta mereka. Sejarawan Palestina abad pertengahan, Mujiruddin al’Ulaymi (w. 927 H), dalam al-Uns al-Jalil bi Tarikh al-Quds wa al-Khalil mengutip beberapa kisah yang menggambarkan komitmen Umar bin Khattab terhadap perjanjian yang sudah disepakatinya dengan penduduk Yerusalem.
Pada suatu kesempatan, ada non-Muslim yang mengadu kepada Umar bin Khattab karena buah anggurnya diambil oleh umat Islam. “Kebun anggurku pada masa kekuasaan Romawi tidak pernah diganggu dan diambil buahnya. Sementara sekarang, aku berada dalam perjanjian dengan penguasa Muslim, tapi buah anggurku malah diambil,” Keluh pemilik kebun Anggur.
Tanpa pikir panjang, Umar bin Khattab langsung naik kuda, mengejar orang-orang yang mengambil anggur tersebut. Dikisahkan, Umar menggunakan pakaian seadanya, karena terburu-buru mengejar siapa yang mengambil buah anggur itu. Di pertengahan jalan, Umar bertemu dengan Abu Hurairah yang sedang memikul buah anggur. Beliau langsung menegur Abu Hurairah. “Wahai Amirul Mukminin, kami betul-betul kelaparan, sehingga kami mengambil makanan dari orang yang memerangi kami” Jawab Abu Hurairah. Mendengar jawaban Abu Hurairah, Umar langsung menemui pemilik kebun anggur, dan mengganti kerugian yang dideritanya.
Memberi perlindungan terhadap pemeluk agama lain merupakan ajaran dari Rasulullah SAW. Karenanya, yang melakukan hal itu, tidak hanya Umar bin Khattab, tetapi juga dilakukan oleh sehabat yang lain, khalifah sebelum dan setelahnya. Ahmad ‘Arafah dalam Al-Tasamuh al-Islami menyebut beberapa nama pemimpin, selain Umar bin Khattab, yang memberi perlindungan terhadap non-Muslim. Usamah bin Zaid diberi amanat oleh Khalifah Abu Bakar untuk tidak membunuh para pemuka agama dan memberi kebebasan kepada mereka untuk menjalankan ibadah. Khalid bin Walid berjanji kepada penduduk Hirah untuk tidak menghancurkan gereja mereka, dan tidak akan melarang mereka untuk membunyikan lonceng gereja dan mengeluarkan tanda salib ketika hari raya. Sa’ad bin Abi Waqqash menjauhkan pasukannya dari kampung non-Muslim, tidak menjadikan wilayah perkampungan mereka sebagai medan tempur, sehingga penduduk di kampung itu tetap aman, dan tidak terkena dampak perang.
Khalifah Umar bin Abdul Aziz menegaskan kepada bawahannya untuk tidak menghancurkan rumah ibadah pemeluk agama lain dan memberi keamanan kepada mereka. Amr bin Ash ketika menguasai Mersir juga memberi keamanan dan perlindungan terhadap gereja dan simbol peribadatan mereka. Amr bin Ash tidak pernah ikut campur urusan pemeluk agama lain dan memberi kebebesan pengelolaan gereja kepada mereka. Sampai akhir kekuasannya, Amr bin Ash tidak pernah merusak dan menghancurkan rumah ibadah pemeluk agama lain.