Pályafutását a Városi Színházban (ma Erkel Színház) kezdte, majd Fleischer Antal operaházi karmester mellé szerződtették segédkorrepetitornak, azután szólókorrepetitor lett. 1937 őszén a híres René Defossez ki akart vinni magával Brüsszelbe asszisztensnek, de Varga inkább Magyarországon maradt. Származása miatt a hatályos törvények értelmében elvesztette az állását, majd a deportálás évei következtek. A vészkorszak után hamar visszatért az Operához, 1945 áprilisában már vezényelhet is, először A rózsa lelke című kis balettet. A követkető negyven évben a színház egyik legfoglalkoztatottabb dirigense lesz, több mint ezer estén áll a zenekar élén. Specialitása a francia és olasz romantikus operairodalom (Faust, Hoffmann meséi, Sámson és Delila, Lammermoori Lucia, Macbeth, Rigoletto, A trubadúr, Traviata, Simon Boccanegra). Karmesteri munkája mellett tanított a Zeneakadémián.