Agnes se narodila v roce 1921 v Budapešti v židovské rodině. V roce 1938 začala se sportovní gymnastikou a hned v následujícím roce se ji podařilo vyhrát na maďarském mistrovství. Ve stejném roce jí kvůli původu zakázali nacisté provozovat veškeré sportovní aktivity.
Smrti v koncentračním táboře unikla jen o vlásek. S falešnými doklady byla několik měsíců ukrytá ve vesnici nedaleko Budapeště. Stejné štěstí neměl její otec a několik dalších příbuzných, kteří o život přišli v Osvětimi.
Ve 31 letech v roce 1952 vyhrála své první zlato na olympijských hrách v Helsinkách. V roce 1956 pak získala další čtyři zlaté medaile a stala se nejstarší zlatou gymnastkou.
