Masjid Nabawi merupakan masjid yang didirikan langsung oleh Rasulullah. Sebelum seperti sekarang ini, masjid ini pernah direnovasi beberapa kali pada masa era kekhalifahan. Pasca Rasul wafat, Khalifah Umar bin Khattab pernah merenovasi dan memperluas masjid ini. Setelah itu, Khalifah Utsman bin Affan juga melakukan hal yang sama. Bahkan, beliau tidak hanya merenovasi, tetapi juga menambahkan unsur baru yang tidak ada sebelumnya, seperti membuat ukiran di tiang-tiang masjid.
Renovasi yang dilakukan Utsman ini sempat diprotes sebagian orang. Mereka protes bukan karena tidak suka dengan perluasan dan renovasi yang dilakukan Utsman, tapi mereka lebih suka dengan bangunan masjid Nabawi seperti masa Rasulullah agar bisa tabarruk.
Utsman bin Affan kemudian menjelaskan alasan mengapa masjid ini perlu direnovasi dan diperluas. Beliau mengatakan, “Saya pernah mendengar Rasulullah berkata bahwa siapa yang membangun masjid karena Allah SWT, maka Allah akan bangunkan rumah di surga untuknya”.
Setelah masa pemerintahan Utsman bin Affan, Umar bin Abdul Aziz juga pernah melakukan perluasan masjid Nabawi atas dasar perintah Khalifah Walid bin Abdul Malik. Umar bin Abdul Aziz meminta orang untuk membuat kaligrafi di kiblat masjid Nabawi. Di situ ditulis surat al-Fatihah dan beberapa surat pendek lainnya. Kaligrafi tersebut ditulis dengan tinta emas.
Saking takjubnya dengan keindahan kaligrafi masjid Nabawi, Umar bin Abdul Azis meminta penulis kaligrafi itu menulis mushaf al-Qur’an dengan khat yang digunakan di masjid Nabawi.
Sejarawan mencatat, dari dulu tidak ada yang protes dan menghancurkan ukiran dan kaligrafi yang ada masjid Nabawi. Bahkan ulama besar pun dari kalangan sahabat dan thabiin tidak ada yang mengkritik ataupun mengeluarkan fatwa haram. Kaligrafi masjid Nabawi dihancurkan ketika Madinah dikuasai kelompok khawarij. Namun, setelah kekuasaan khawarij tumbang di Madinah, kaligrafi dibuat kembali di masjid Nabawi. Di antara pemimpin yang membuat kaligrafi di masjid Nabawi setelah dihancurkan Khawarij adalah Abdul Malik Muhammad bin Athiyyah pada tahun 130 H.