Nacque a Oberscheden, presso Hannover, il 30 gennaio 1697. Fu compositore e virtuoso del flauto traverso, che costruiva egli stesso, oltre che teorico.  
Dopo un apprendistato a Mersebourg (1707 c.) sul violino e, con l'ausilio dello zio Justus Quantz, su ogni sorta di strumento a fiato (eccetto il flauto traverso), nel 1716 il giovane Johann Joachim si stabilì a Dresda, dove inizialmente suonò nell'orchestra municipale. In seguito, dal 1716 al 1741, fu al servizio dell'elettore di Sassonia.
Nel 1717 studiò composizione con Pisendel e contrappunto con Zelenka e Fux, a Vienna.
Nel 1718 fu nominato oboista nella cappella di Augusto II di Polonia, e nello stesso periodo ammesso nell'orchestra della Cappella Reale di Dresda.
Nel 1719 studiò flauto con Pierre-Gabriel Buffardin.
Le sue prime composizioni si fanno risalire al 1720.
Quantz viaggiò molto: lo troviamo a Praga (1723) dove assistette ad un concerto del violinista Tartini; in Italia (1724-25) dove studiò contrappunto a Roma con Gasparini, assistette ad un opera con Farinelli e la Tesi, incontrò Alessandro Scarlatti a Napoli. A Parigi (1726-27) dove incontrò Michel Blavet e dove aggiunse una seconda chiave al suo flauto; infine a Londra (1727) dove incontrò Handel.
Nel 1727, tornato a Dresda, divenne flautista solo della cappella Reale.
Dal 1728 divenne insegnante di flauto del principe Federico, attività che gli conferì pure un certo prestigio politico. Quando nel 1740 divenne Re di Prussia come Federico II, Quantz lo seguì a Berlino, dove, oltre a continuare ad insegnargli il flauto, assunse la carica di compositore di corte e musicista da camera, supportando il sovrano nei concerti serali che, flautista dilettante e compositore occasionale, il monarca offriva ad un pubblico selezionatissimo: il repertorio di quei concerti consisteva principalmente in lavori di Quantz e di Federico stesso.
Nel 1773 incontrò il musicologo inglese Charles Burney. Quell'anno fu anche l'ultimo per Quantz, che si spense a Potsdam.

Oltre a delle sonate in trio e a della musica vocale da camera, Quantz compose ben 200 sonate e i 300 concerti per flauto, fra i quali spiccano proprio quelli per Federico il Grande.
Come teorico, il suo esauriente manuale di flauto Versucheiner Anweisung die Flote traversiere zu spielen - ma nonostante il titolo meno di un terzo del libro è specificamente inteso per flautisti - (Berlino, 1752), e la sua autobiografia del 1755, rimangono testi fondamentali per comprendere tutti gli aspetti della prassi esecutiva e i criteri per valutare composizioni e interpreti dell'epoca.