Abu Dzar tidak pernah menyimpan harta lebih dari persiapan hidup tiga hari. Tidak jarang dia berhari-hari hanya makan beberapa biji kurma dan air. Sewaktu tinggal di Damaskus, pada zaman Khalifah Usman bin Affan, Gubernur Muawiyah bin Abi Sufyan pernah mengujinya dengan mengirimkan uang 100 dinar pada satu malam dan besok paginya memintanya kembali dengan alasan salah kirim. Ternyata uang tersebut sudah habis dibagikan malam itu juga kepada fakir miskin. Abu Dzar berjanji akan mengumpulkannya kembali dalam tiga hari jika Muawiyah menginginkannya.
Suatu hari, seseorang datang ke kediaman Abu Dzar. Tamu itu melayangkan pandangannya ke setiap pojok rumahnya. Dia tidak melihat apa-apa di rumah itu. "Hai Abu Dzar! Di mana barang-barang Anda?" Abu Dzar menjawab, "Kami mempunyai rumah yang lain. Barang-barang kami yang bagus telah kami kirim ke sana."
Tamu itu rupanya mengerti bahwa yang dimaksud Abu Dzar adalah akhirat. Lalu tamu tadi berkata, "Tetapi, Anda juga memerlukan barang-barang itu di rumah ini?" Maksudnya, di dunia. Abu Dzar dengan tangkas menjawab, "Tetapi yang punya rumah (Allah) tidak membolehkan kami tinggal di sini buat selama-lamanya."
Abu Dzar sering menyampaikan kepada kaum dhuafa bahwa pada harta orang-orang kaya itu ada hak mereka. Sebagai gubernur, Muawiyah khawatir kalau-kalau cara pandang Abu Dzar itu akan mendorong orang-orang miskin merampasi harta kekayaan orang kaya. Dia melaporkan Abu Dzar kepada Khalifah Usman di Madinah. Khalifah memanggil Abu Dzar dan dua sahabat ahli tafsir untuk menguji penafsiran Abu Dzar terhadap surah at-Taubah ayat 34 itu. Keduanya menyatakan bahwa yang diancam oleh ayat tersebut adalah orang-orang yang menimbun kekayaan dan tidak menunaikan kewajibannya membayar zakat.
Setelah peristiwa itu, Abu Dzar tidak mau kembali lagi ke Damaskus dan juga tidak mau menetap di Madinah. Dalam pandangan dia, umat Islam di kedua kota tersebut tidak lagi hidup secara sederhana seperti yang dicontohkan Rasulullah SAW. Dia minta izin tinggal di Rabdzah, sebuah kampung kecil di luar Kota Madinah.
Suatu hari, Abu Dzar berpesan kepada putrinya. Jika lewat kafilah di kampung kita ini, jamulah mereka makan. Setelah itu tanyakan kepada mereka, apakah Abu Dzar termasuk ahli surga atau bukan. Putrinya heran, karena biasanya pertanyaan itu diajukan setelah seseorang meninggal dunia. Mengetahui ada kafilah datang dan putrinya sudah menyiapkan jamuan, Abu Dzar mengambil air wudhu lalu shalat dua rakaat dengan khusyuk. Setelah shalat, dia berbaring dan melipat kedua tangannya, kemudian tenang. Pada saat itulah Allah SWT memanggilnya. Alangkah indahnya kematian sahabat kaum dhuafa ini.
