Ketika Rasulullah dan para sahabat tidak kuat menahan tekanan penduduk Mekah, beliau dan kaum muslimin memutuskan pindah ke Madinah. Pribumi Madinah merasa senang dengan kehadiran Rasulullah. Mereka tidak keberatan sedikitpun dengan kehadiran kaum muslimin, meskipun sebagian besar pendatang, bukan penduduk asli Madinah.
Keakraban penduduk Madinah dan pendatang dari Mekah ini menunjukan bahwa relasi pendatang dan pribumi tidak selamanya berujung konflik dan pertikaian. Meskipun ada konflik di Madinah, tetapi masih bisa diatasi dan tidak menyebar luas.
Rasulullah menyadari betul bahwa masyarakat Madinah sangat plural dan jamak. Mereka hidup bersuku-suku dan multi-agama. Sebelum Rasulullah datang ke Madinah, penduduk Madinah terbiasa konflik dan perang. Kehidupan mereka tidak jauh berbeda dengan masyarakat Arab pada umumnya. Masing-masing kabilah berlomba-lomba merebut kekuasaan dan merasa paling kuat dan berpengaruh. Sebagian besar konflik di Madinah disebabkan oleh fanatisme kesukuan dan motif balas dendam.
Secara umum, penduduk Madinah terdiri dari dua kelompok besar: Yahudi dan Arab. Bangsa Yahudi sudah lama tinggal di Madinah, namun mereka bukanlah orang pertama yang menempati Madinah. Pada awalnya, mereka datang ke Madinah untuk berperang dan mengungsi. Sebelum Yahudi, bangsa Arab sudah lama menetap di Madinah. Mereka dianggap penduduk asli (pribumi) Madinah.
Meskipun bukan penduduk asli, populasi Yahudi di Madinah sangat massif dan mereka mendiami wilayah-wiyalah strategis. Kebanyakan Yahudi tinggal di dataran tinggi dan daerah yang lebih subur dibanding daerah lainnya. Bangsa Yahudi ini terpercah dalam beberapa suku besar: di antaranya Bani Qurayzah, Bani Qaynuqa’, dan Bani Nadhir. Ketiga suku besar ini menetap di dataran tinggi dan subur.
Sementara bangsa Arab terbagi dalam dua kabilah besar: ‘Aws dan Khazraj. Dua suku besar ini kemudian terpecah lagi dalam beberapa kabilah. Masing-masing kabilah atau suku saling berperang antara satu sama lainnya. Hari-hari mereka dihabiskan untuk konflik dan pertumpahan darah. Penyebab utama perperangan ialah perebutan sumber daya alam dan materi. Misalnya, kabilah yang tinggal di dataran renda dan daerah yang tidak subur, ingin menguasai dataran tinggi karena lebih subur.
Maka dari itu, ketika sampai di Madinah, Rasulullah berusaha untuk menyatukan pendatang dengan pribumi. Dalam istilah lain, menyatukan kaum anshar dan muhajirin. Rasulullah membangun masjid sebagai simbol persatuan umat Islam. Sahabat yang berasal dari Mekah dipersaudarakan dengan kaum muslimin yang di Madinah.
Tidak hanya itu, Rasulullah juga menjalin hubungan baik dengan non-muslim, seperti Yahudi. Untuk menghindari konflik, Rasulullah membuat perjanjian dengan Yahudi. Ikatan perjanjian itu dikenal dengan nama piagam Madinah. Apa yang dilakukan Rasulullah ini termasuk strategi politik kelas tinggi dan sangat cerdas. Sebab negara manapun tidak akan berdiri tanpa ada persatuan. Sementara persatuan tidak akan terwujud tanpa ada persaudaraan dan kasih sayang antara masing-masing kelompok.