Va néixer a Rubí l’any 1902. Tot i que era paleta d’ofici, ja de ben jove participà en el moviment catalanista, i s'afilià a Estat Català (1922). Rovira formava part dels joves intrèpits a les ordres de l’avi Macià, amb els quals van planificar i protagonitzar alguns fets amb la voluntat d’alliberar Catalunya de la submissió a la dictadura espanyola de Primo de Rivera.
El 1922 s'instal·là a la Catalunya Nord, des d'on participà en l'assalt a la caserna de la guàrdia civil de Sant Pau d'Ordal, i més tard en la preparació de la invasió del Principat des de Prats de Molló (1926). Aquests fets havien de ser un intent d’alliberament de Catalunya, però degut a una delació, van fracassar abans de començar. Tot i això, després de capturar-se als seus instigadors (amb Macià al capdavant), se’ls jutjà, i això va significar un enorme impacte en l’opinió pública internacional, ja que per primera vegada la causa de Catalunya assolia una certa internacionalització.
Exiliat posteriorment a França i Mèxic, va col·laborar amb la guerrilla guatemalteca, on va millorar el seu coneixement militar. De retorn a Barcelona (1932), va militar en Estat Català-Partit Proletari (EC-PP). Més tard deixà aquesta formació per sumar-se a la més àmplia del Bloc Obrer i Camperol (BOC).
Membre del comitè executiu, conservà aquest càrrec, quan el BOC es convertí en el Partit Obrer d'Unificació Marxista (POUM). Tingué gran importància en la dinamització del setmanari «L'Hora». Amb l’esclat de la guerra, formà part del Comitè de Milícies, al qual s'integrà en representació del POUM. Organitzà la columna Lenin amb militants i simpatitzants del POUM, amb la que sortí a lluitar al front d'Aragó.
Arran dels fets de maig del 1937 a Barcelona, s'inicià una persecució política contra el POUM, i Rovira fou detingut. Un cop alliberat, participà en la reorganització del partit en la clandestinitat, per la qual cosa fou de nou detingut l'octubre del 1938. El gener del 1939 escapà de la presó i marxà cap a l'estat francès, on participà en la Resistència contra l'ocupació nazi. El 1944 participà en la fundació del Moviment Socialista de Catalunya (MSC).
En Josep Rovira va morir l’any 1968 a l’exili.
