2004 Atina Olimpiyatları'nda 48 kiloda katılmaya hak kazanan Atagün Yalçınkaya, rakiplerini yenerek finale çıkmıştır. Finalde Kübalı rakibini yenerek gümüş madalya kazanmıştır. 29 Ağustos 2004'te kazandığı ikincilik derecesi ile Türkiye'nin Olimpiyatlar tarihinde en genç yaşta madalya kazanan sporcusu olan Yalçınkaya 17 yaşında final oynayan sporcu, Muhammed Ali'den sonra olimpiyatlarda final müsabakası oynayan en genç boksör unvanına sahip olmuştur

Maçlarını anlatan, Türk spor tarihinin en ünlü spikerlerinden Orhan Ayhan, çok genç olması nedeniyle ona "Dövüşçü Bıdık" lakabını takmıştır. Rakibini serseme çeviren direkt ve kroşeleri nedeniyle kendisine, adından hareketle "Atagüm" dendiği de olur

21 Haziran 2014 tarihinde Caferağa Spor Salonunda  Furkan Ulaş Memiş ile yaptığı müsabaka ile jübilesini yapmış ve ringlere veda etmiştir.