Anyja észt, apja litván származású volt. Az iskoláit Rigában, az egyetemet pedig Moszkvában végezte. A bolsevik forradalom alatt mint fehér emigráns érkezett Németországba. Mivel Rosenberg fanatikus nacionalista, zsidó- és bolsevikellenes volt, Eckarton keresztül hamar kapcsolatba került Hitlerrel. Ezt követően ő lett az NSDAP fő ideológusa, és "tudományosan" is kidolgozta azokat a teóriákat és téziseket, amelyeket Hitler körvonalazott.

Részt vett a müncheni sörpuccsban, majd később a náci napilap főszerkesztője lett. Ideológiáját megfogalmazva kiadta a Huszadik század mítosza c.könyvet, amelyben kifejtette és megfogalmazta a nácizmus alapjait és filozófiáját. Ebben dolgozta ki a teóriáját a zsidó világösszeesküvésről. Szerinte a zsidók diaszpóraként szétszóródva a világban, de egységes irányítás alatt, tudatosan szerzik meg a gazdasági hatalmat, a kultúra és a sajtó kulcspozícióit, majd ezek birtokában a gazdasági hatalmat politikai hatalommá váltják át.

Rosenberg ezen tézisei világszerte nagy visszhangot váltottak ki. Foglalkozott továbbá az északi faj mitológiájával és a szvasztika (horogkereszt) misztikumával. Ő integrálta a náci filozófiába Nietzschét, Wagnert, a nagy jövendölőt, Paul de Lagardot és mint prófétákat Gobint és Houston Stewart Chamberlaint. Hitler különböző pártállásokba juttatta, volt képviselő és a "keleti térség biztosa"ként a nácik által "fajilag alacsonyabb rendű "nek tekintett emberek - szlávok illetve zsidók - kitelepítését irányította.

Mint háborús bűnöst, a Nürnbergi Katonai Törvényszék halálra ítélte, és 1946. október 16-án felakasztották.