Joseph Vollmer nacque a Baden-Baden il 13 febbraio 1871, figlio di un fabbro, inizia a frequentare la Scuola di Commercio municipale ed una volta terminata la scuola si reca nel 1886 a Cannstatt, dove inizia l’apprendistato come meccanico presso la Maschinenfabrik Esslingen.
Nel 1894 si laurea in ingegneria presso il Technikum Mittweida in Sassonia. Inizia quindi a lavorare per la Bergmann a Gaggenau per poi spostarsi dopo 3 anni alla Kühlstein Wagenbau di Berlino-Charlottenburg.
Nel 1901 è assunto alla Allgemeine Elektrizitäts-Gesellschaft (AEG), nel 1902 è capo della sussidiaria NAG. I veicoli prodotti dalla AEG-NAG fino al 1906 sono stati progettati e prodotti sotto la sua direzione, incluso il trattore DURCH del 1903, il primo al mondo.
Nel 1905 Vollmer si è sposato con Hedwig Stöhr, con la quale ebbe due figlie. L’anno successivo lasciò la NAG per fondare insieme a Ernst Neuberg la Deutsche Automobil-Construktionsgesellschaft. Allo scoppio della guerra fu richiamato in servizio con il grado di capitano. In questi anni sta ricoprendo il ruolo di capo progettista della sezione veicoli a motore del Ministero della guerra del Reich. E’ proprio a lui che si devono i recenti tank A7V, K-Wagen, LK I e LK II.
