A közép-franciaországi Auxerre-ben született egy szegény szabó tizenkét gyermeke közül kilencedikként. A nyolcévesen árvaságra jutott, tehetséges fiút a helyi püspök vette pártfogásába, az ő támogatásával kezdhette meg tanulmányait a helyi bencések igazgatása alatt álló katonai iskolában. Kezdetben az irodalom érdekelte, de aztán a matematikába szeretett bele.
Az iskola elvégzése után két évig a bencések kolostorában élt, de a szerzetesi esküt nem tette le, s 1789-ben Párizsba utazott. Minden vágya az volt, hogy tudását tüzértisztként hasznosíthassa, de alacsony származása miatt csak ágyútöltelék lehetett volna, ezért visszatért szülővárosába, ahol a katonai iskola tanára lett. 

A nagy francia forradalom sodorta bele a politikába. A mérsékelt nézeteket valló Fourier-t a jakobinus terror idején letartóztatták, csak Robespierre bukása mentette meg a nyaktilótól. 1794-ben az akkor megnyíló École normale supérieure (az egyik legrangosabb francia felsőoktatási intézmény) első hallgatója volt, majd annak tanára lett. 1798-ban több tudóstársával ő is elkísérte Napóleont egyiptomi hadjáratára, a Kairóban létesített francia tudományos intézet titkáraként régészettel és matematikával foglalkozott. Napóleon 1801-es veresége után hazatért, s ezzel véget is ért kacérkodása a katonai ügyekkel. A hazatérő francia tudósokat a tengeren elfogták az angolok, de a kor lovagias szellemének megfelelően partra tették őket is, az általuk gyűjtött anyagot is, kizárólag a hieroglifák megfejtésében kulcsszerepet játszó rosette-i követ tartották meg. 

A császár őt bízta meg az Egyiptomban gyűjtött hatalmas anyag publikálásával, a monumentális mű Fourier történeti bevezetőjével jelent meg. Napóleon ezt követően Isere megye prefektusának nevezte ki, amit nem mert visszautasítani, s e tisztségében is helyt állt, nevéhez több mocsár lecsapolása és útépítés fűződik. A császárság bukása után végre teljesen a tudománynak szentelhette magát, a Szajna megyei Statisztikai Hivatal igazgatójává nevezték ki. 1817-ben a tudományos akadémia tagjának, 1822-ben titkárának választották meg, 1826-ban lett a Francia Akadémia tagja. Legnagyobb eredményét a szilárd testek hővezetése terén érte el A kérdéskört még 1807-ben kezdte tanulmányozni, összefoglaló műve A hő analitikus elmélete címmel tizenöt évvel később jelent meg. A téma rendkívül összetett, mert a hő áramlása függ a test hővezető képességétől, a két pont közti hőmérséklet-különbségtől, a test formájától és még számos tényezőtől. Háromdimenziós testekkel kísérletezve kimutatta, hogyan lehet a hővezetést a ma róla elnevezett módszer révén elemezni. Feltevése szerint minden periodikus rezgés, bármilyen bonyolult is, egyszerűbb hullámmozgások sorozatává bontható, amelyek összegzése az eredeti komplex periodikus variáció lesz, minden hullám egyszerű szinushullámok összegeként állítható elő. Munkája túlhaladta a hővezetés témakörét, olyan módszert teremtett, melynek segítségével számos határértékkel kapcsolatos kérdés - napfoltok, árapály, időjárás stb. - is sikeresen tanulmányozható. Az általa kidolgozott fogalmak közül nevét viseli: a Fourier-sor, a Fourier-analízis, a Fourier-együttható és a Fourier-transzformáció. 

Kevésbé ismert, de Fourier írta le először az üvegházhatást. A Föld hőmérsékletével foglalkozva arra a megállapításra jutott, hogy a Naptól távol keringő, hűlő test, amelyet csak a napsugarak melegítenek, hőmérsékletének jóval alacsonyabbnak kellene lennie. 1827-ben megjelent tanulmányában ennek okaként a "szigetelő" hatású légkört jelölte meg, amely lassítja a hő távozását a felszínről, s melegebben tartja a bolygót. A svájci de Saussure kísérletére hivatkozott, aki 1767-ben egymásba zárt üvegtetejű dobozokat tett ki a napra, és a legbelső dobozban a víz forráspontját meghaladó hőmérsékletet ért el. A légkört az üvegtetőkhöz hasonlította, amelyek beengedik a napsugarakat, de megakadályozzák a hő kiszökését. Ebből a felismerésből született a ma használt légköri üvegházhatás kifejezés, Fourier hipotézisét 1860-ban az angol John Tydall mérésekkel támasztotta alá.

A hőtannal foglalkozó tudós rendkívül erősen hitt abban, hogy az egészség titka a meleg, így lakásában hőség uralkodott, és három-négy ruhát húzott magára. Fourier 1830. május 4-én egy lépcsőn lefelé tartva elesett, és olyan súlyos sérüléseket szenvedett, hogy két héttel később, május 16-án meghalt. A párizsi Pére-Lachaise temetőben nyugszik, sírkövét az Egyiptomban gyűjtött anyag feldolgozása terén szerzett érdemeire emlékezve egyiptomi motívumokkal díszítették. Nevét belevésték az Eiffel-torony első emeletének peremébe, ahol a legkiválóbb francia tudósok nevét örökítették meg.