1912 yılında Van’da doğdu. Asıl adı Mehmet’tir. Birinci Dünya Savaşı yıllarında ana-babasını yitirdi. On yaşına kadar yoksul bir ailenin yanında yaşadı. Daha sonra Adana Öksüzler Yurdu’nda yatılı okudu. İlkokul 4. sınıfta keman çalmaya başladı. 1925 yılında Ankara’da kurulan Musiki Muallim Mektebi’ni kazanmasına karşın, öksüzler yurdundaki öğrencilerin askere alınmasından dolayı İstanbul’da bir askeri okula gönderildi. Okuldan kaçarak Ankara’ya gidip müzik okumak istedi, ancak yakalanarak geri gönderildi. Daha sonra çürüğe çıkıp okuldan ayrıldı ve kemanıyla katıldığı sınavdan sonra son sınıfın bir altından Musiki Muallim Mektebi’ne alındı. 1935-36 yıllarında Riyaseticumhur Filarmonik Orkestrası’nda (Cumhurbaşkanlığı Senfoni Orkestrası) görev aldı. 1936 yılında Musiki Muallim Mektebi’ni bitirdi ve kemanı bırakarak şana geçti. Daha sonra (1942) Devlet Konservatuarı’nın Şan bölümünü bitirdi. Çeşitli okullarda öğretmenlik yaptı. Ankara Radyosu’nda yayınlanan çeşitli türkü programlarını düzenledi. Devlet opera sanatçısı olarak birçok operada görev aldı. Bu görevi 1952 yılında tutuklanmasına dek sürdü. 20 Eylül 1985’te 12 Eylül döneminin engellemeleri nedeniyle yurtdışında tedavi olanağı bulamadığı için yaşamını yitiren Ruhi Su, ölümüne dek türkü söylemeyi sürdürdü ve Pir Sultan’dan Karacaoğlan’a dek değişik ozanların türkülerinden oluşan 12 uzunçalar hazırladı.
