Kisah bermula ketika Ali bin Abi Thalib berencana memecat Muawiyah yang saat itu menjadi gubernur di Syam pada periode Umar dan Utsman. Sebagai Khalifah keempat umat Muslim, Ali tentu saja memiliki wewenang untuk menentukan siapa yang akan menjadi pembantunya dalam hal administrasi.
Tetapi Muawiyah pada saat itu menolak dipecat oleh Ali. Muawiyah justru mendesak agar Ali mengusut kasus kematian Utsman terlebih dahulu. Muawiyah kemudian mengalungkan baju Utsman di mimbar masjid Damaskus dan mengajak para pendukungnya untuk meminta diprosesnya kasus kematian Utsman. Bergejolaklah negeri Syam hingga orang-orang dari kabilah Kalb bersumpah untuk melaksanakan aksi balas dendam atas kematian Utsman.
Kedua belah pihak memiliki argumentasi masing-masing dalam menyampaikan kepentingannya. Ali menegaskan bahwa dia adalah pemimpin yang harus ditaati, sehingga orang-orang muslim tidak akan menyamakan posisi antara Ali dan Muawiyah. Ali menjadi pilihan mereka dan oleh karena itu menjadi wajib bagi Muawiyah untuk membaiatnya dan taat kepadanya.
Sedangkan argumen dari Muawiyah adalah bahwa walaupun Ali tidak ikut membunuh Utsman, akan tetapi ia dianggap telah melindungi pembunuh Utsman. Muawiyah tidak rela kecuali dengan menyerahkan para pembunuh sepupu jauhnya itu.
Mengutip dari buku Sejarah Dinasti Umawiyah, Muawiyah juga menuntut Ali untuk mengundurkan diri dari jabatan khalifah dan melepaskan diri dari urusan umat. Merespon hal ini, Ali berkata,
“Kemudian mereka menemuiku untuk dibaiat sedangkan saya sudah melepaskan diri dari urusan mereka, mereka mengatakan, “Naiklah menjadi pemimpin!” Namun saya menolak mereka, hingga mereka merayuku berulang kali dan mengatakan, “Naiklah, karena masyarakat tidak rela kecuali dengan kepemimpinanmu, dan kami takut jika engkau tidak mengambilnya maka masyarakat akan cerai berai.” Saya akhirnya menerima tawaran tersebut, dan saya memimpin hanya bersandar pada satu kaki saja.”
Dalam kasus investigasi kasus Utsman, sebuah riwayat menyebut jika kelompok Muawiyah menginginkan adanya penetapan bahwa Utsman dibunuh secara zhalim sehingga harus ditebus darahnya. Sedangkan Ali tetap bersiteguh bahwa ialah yang berhak menjadi khalifah tanpa ada yang menentangnya, dan membiarkan urusan para pembunuh Utsman diserahkan kepada Allah.
Imam Ghazali berpendapat bahwa alasan Muawiyah untuk meminta tebusan darah Utsman dengan secepatnya adalah bahwa jika perkara Utsman diabaikan atau ditunda-tunda maka akan terjadi tindak pidana yang lebih besar lagi karena akan menjadi contoh bagi umat untuk bertindak sewenang-wenang kepada pemimpin-pemimpin mereka dan akan membuat mereka berani menumpahkan darah.
“Perang dingin” tersebut nampak terus mengalami eskalasi. Pada akhirnya, kedua pihak yang sudah tidak bisa bersatu sepakat untuk menggunakan cara peperangan untuk menyelesaikan masalah. Meskipun keduanya tetap merasa bersalah karena akan mengorbankan umat Islam yang mereka cintai.
Peperangan itu mula-mula dimulai dengan beberapa orang saja dengan menggunakan satu kabilah, akan tetapi hal itu tidak mampu menyelesaikan masalah hingga mereka terpaksa harus saling menyerbu dengan menggunakan semua pasukan. Pasukan Ali seperti yang diriwayatkan, berangkat dengan sekitar 50 ribu hingga seratus ribu pasukan, sedangkan tentara Muawiyah berangkat dengan 70 ribu pasukan. Pertempuran itu kemudian dikenal dalam sejarah dengan nama Perang Shiffin.
Pertempuran itu menurut riwayat telah menelan korban sebayak 70 ribu jiwa. Ini merupakan angka yang sangat besar, karena pertempuran berlangsung tidak lebih dari dua hari. Pertempuran tersebut memang sangat dahsyat dan belum pernah terjadi dalam Islam sebelumnya. Kekuatan kedua pasukan relatif imbang. Pasukan Muawiyah mula-mula mampu memenangkan medan perang, namun keadaan itu berbalik ketika komandan pasukan Ali, Asytar an-Nakha’i berhasil menguasi dengan tentaranya.
Menurut Yusuf al-Isy, seorang pakar sejarah Islam, ketika pasukan Ali hampir saja memenangkan pertempuran, Amru bin Ash menasehati Muawiyah untuk mengangkat mushaf di atas tombak-tombak mereka dan meminta perselisihan itu diselesaikan dengan kitab Allah. Usulan Amru bin Ash ini kemudian dikenal dalam sejarah Islam sebagai Peristiwa Tahkim.
Pihak Ali mula-mula menganggap itu sebagai tipu daya dari Muawiyah, namun para Qurro’ dan ahli ibadah takut karena seakan mengingkari Alquran sebagai hukum jika mengabaikan ajakan Muawiyah. Mereka lalu menemui Ali untuk meminta supaya sang khalifah menerima penghukuman dengan Al-Qur’an tersebut.
Akhirnya, masing-masing pihak mengutus hakim. Amru bin Ash mewakili pihak Muawiyah, dan Abu Musa mewakili pihak Ali. Dua hakim kemudian bertemu dan Amru bin Ash memulai pembicaraan,
“Wahai Abu Musa, bukankah engkau mengetahui bahwa Utsman bin Affan dibunuh dengan zhalim?” Abu Musa menjawab, “Ya”. Ia bertanya lagi, “Bukankah engkau telah tahu bahwa Muawiyah dan keluarganya adalah para wali daripada Utsman?”. Ia menjawab, “Ya”. Lalu Amru bin Ash membaca QS. al-Isra’: 33, “Dan barang siapa dibunuh dengan zhalim maka kami berikan ahli warisnya kekuasaan, dan janganlah melampaui batas dalam pembunuhan sesungguhnya ia akan mendapat pertolongan.”
Hal ini meniscayakan kemenangan Amru bin Ash karena ayat tersebut merupakan hujjah yang kuat terhadap Abu Musa, yaitu jika Muawiyah adalah ahli waris Utsman maka kenapa ia tidak dijadikan Khalifah. Terlihat bahwa dalam perundingan ini, yang cenderung dibincang adalah perihal kelayakan Ali sebagai khalifah, bukan siapa yang membunuh Utsman.
Hal ini menunjukkan bahwa intensi terbesar Amru bin Ash, sebagai penyambung lidah Muawiyah, bukanlah untuk mengangkat Muawiyah menjadi khalifah, atau mencari pembunuh Utsman, melainkan lebih kepada menjatuhkan Ali dari kursi khalifah. Amru bin Ash mengusulkan untuk mengembalikan perkara ini kepada permusyawaratan rakyat untuk memilih khalifahnya sendiri karena ia sudah mempengaruhi Abu Musa bahwa Ali tidak patut untuk terus memegang khilafahh.
Hasil dari perundingan (tahkim) memutuskan bahwa Utsman dibunuh secara zhalim, dan perselisihan harus dihentikan dengan cara menurunkan Ali dan menyerahkan khilafah kepada permusyawaratan kaum muslimin. Ali bin Abi Thalib melihat hasil ini dan dengan sangat terpaksa menerimanya.
Meskipun banyak sahabat, terutama dari pihak Ali, berselisih tentang validitas tahkim tersebut, karena hasil perundingan itu tidak tertulis dan dipersaksikan, namun peristiwa tahkim tersebut menjadi satu gejala runtuhnya dinasti khulafaur rasyidin.
Perundingan tahkim tersebut melahirkan sosok bernama Abdurrahman bin Muljam yang kecewa karena sang khalifah sudah berani memutuskan dan menerima hukum berdasarkan rapat manusia. Ia kemudian menebas Ali dengan pedang beracun saat hendak mengimami salat shubuh berjamaah pada 19 Ramadhan 49 H. Tebasan itu yang kemudian mengakhiri era kepemimpinan khulafaur rasyidin.