Bagi ‘Ammar bin Yasir, umat Muslim tidak boleh bersikap pasif ketika melihat ada konflik di internal umat Muslim sendiri. Menurut ‘Ammar, umat Muslim harus mencari kebenaran dan memerangi siapa pun yang tidak memenuhi perintah agama (Ibnu Qutaibah, Al-Imamah wa Al-Siyasah, 1990: 85).
Namun begitu, walaupun ada penolakan dari ‘Ammar bin Yasir, Abu Musa Al-Asy’ari tetap tak gentar. Dia terus berjuang mengampanyekan sikapnya yang toleran, moderat, dan cinta damai. Hal itu terlihat, salah satunya, ketika dia diutus oleh Ali bin Abi Thalib untuk pergi ke Yaman.
Di hadapan orang-orang Yaman, Abu Musa Al-Asy’ari berkata: “Aku adalah penasihatmu yang terpercaya, janganlah kalian berpaling dariku, sarungkanlah pedangmu, patahkanlah busur dan anak panahmu, hancurkanlah gitarmu. Sebab aku mendengar Rasulullah Saw. bersabda: ‘Akan datang banyak fitnah seperti penyamun di malam hari, di mana orang yang tidur lebih utama dari pada orang yang duduk; orang yang duduk lebih utama dari pada orang yang berdiri; orang yang berdiri lebih utama daripada orang yang berjalan’.” (Imam Haramain Al-Juwaini, Ghiyatsul Umam fi Iltiyatsil Zhalam, 1979:87).
Sikap Abu Musa Al-Asy’ari yang pro-perdamaian, anti-konflik, dan moderat di tengah perseteruan kelompok kepentingan sebenarnya sudah lama dia tunjukkan. Imam Abu Bakar Muhammad bin Muhammad Al-Fahri Al-Thurthusyi (w. 520), dalam kitab Sirajul Muluk, menerangkan bahwa pada suatu hari Abu Musa Al-Asy’ari datang dari Bashrah untuk menghadap Khalifah Umar bin Khatthab.
Sebagai Gubernur Bashrah, Abu Musa Al-Asy’ari memiliki seorang asisten pribadi yang beragama Yahudi. Ia dan asistennya menghadap Umar. Padahal, jauh hari sebelumnya, Umar pernah berkata: “Janganlah kalian mempekerjakan orang-orang Yahudi maupun Nasrani, karena mereka suka suap dalam agama mereka, dan Allah tidak menghalalkan praktik suap-menyuap.”
Melihat Abu Musa Al-Asy’ari yang mempekerjakan seorang asisten dari kalangan Yahudi, Umar menjadi murka dan mengutuk: “Celakalah engkau,” sambil memukul pahanya sendiri.
Namun, Abu Musa Al-Asy’ari menjawab: “Wahai, Amirul Mukminin, aku punya perjanjian sendiri dengannya, dan dia tetap menjalankan agamanya. Aku tidak akan memuliakan mereka yang telah dihinakan oleh Allah, aku juga tidak akan mengangkat derajat mereka yang Allah rendahkan, dan aku tidak akan mendekatkan mereka yang Allah jauhkan,” (Al-Thurthusyi, Sirajul Muluk, 1289H.: 136).
