Рудольф Борисович Баршай родился в станице Лабинской (ныне город Лабинск Краснодарского края).
Учился в музыкальной школе при Ленинградской консерватории (скрипка, альт).
Окончил Московскую консерваторию по классу альта (1948).
В 1945-1953 годах был альтистом и одним из создателей Квартета имени Бородина, одновременно в 1948-1956 годах играл на альте в Квартете имени Чайковского.
В 1955 году создал первый в СССР камерный оркестр — легендарный Московский камерный оркестр, которым руководил и дирижировал до 1977 года, когда переехал в Израиль и возглавил Израильский камерный оркестр.
