"Tôi đã mong chờ giải đấu này trong 4 năm", Federer chia sẻ. Trước khi bước vào mùa giải 2004, "Tàu tốc hành" đã tuyên bố rằng, Thế vận hội là một trong ba mục tiêu lớn của năm, ngoài việc bảo vệ chức vô địch Wimbledon và lên ngôi số 1 thế giới.

Ở kỳ Thế vận hội trước đó, tại Sydney năm 2000, Federer đã thua đối thủ Arnaud Clement người Pháp trong trận tranh HCĐ. Đó sẽ là động lực để anh hướng đến mục tiêu giành HCV Olympic tại Athens.

Khởi động mùa giải bằng chức vô địch Australian Open 2004, Federer sau đó lần đầu tiên bước lên ngôi số 1 thế giới ở 22 tuổi 5 tháng.

"Trở thành số 1 thế giới thật tuyệt vời. Tôi muốn giới thiệu nó cho bất kỳ ai, cảm thấy tốt hơn nhiều so với việc đứng thứ 5 hoặc 6. Bây giờ, tôi chơi với sự tự tin hơn nhiều, không chỉ bởi tôi thắng nhiều trận và giải đấu, mà bởi biết không ai có thể nói họ giỏi hơn. Tôi thích làm ngôi sao, trở thành nam châm thu hút sự chú ý của công chúng", Federer nói.

Đánh bại Andy Roddick trong trận chung kết kịch tính ở Wimbledon 2004, tay vợt Thụy Sỹ đoạt danh hiệu Grand Slam sân cỏ thứ hai trong sự nghiệp.

Trước khi tham dự Olympic Athens 2004, Federer tái ngộ Roddick ở Toronto và xác lập nên kỷ lục vô địch ba giải ATP liên tiếp trên ba mặt sân khác nhau bằng chức vô địch Canada Masters 2004.

Có lẽ chuyến ghé chân ở một tiệm cắt tóc tại Toronto năm ấy đã khiến anh mất đi vận may khi bất ngờ thay đổi diện mạo với mái tóc mới cắt ngắn.

Người cầm cờ đại diện cho đoàn thể thao Thụy Sỹ tại Athens 2004 đã thua trận ngay từ vòng 2 trước Thomas Berdych mới 19 tuổi. Sau đó ít giờ, Federer cũng bị loại luôn ở nội dung đôi nam cùng với đồng đội Yves Allegro.

Xuất hiện trong buổi họp báo với vẻ mặt mệt mỏi và chán nản, FedEx đã không giải thích được nguyên nhân thất bại trước đối thủ trẻ tuổi vô danh.

Một tuần sau khi kết thúc Thế vận hội, Federer đã đánh dấu sự trở lại đỉnh cao với chức vô địch US Open 2004. "Nếu có thể lựa chọn, tôi sẽ đổi lấy chiếc HCV Olympic, nhưng bây giờ giấc mơ vàng đã tan vỡ", Federer nói.

Federer giành được 11 danh hiệu ATP ở mùa giải 2004 và duy trì được chuỗi 237 tuần liên tục trên vị trí số 1 thế giới, trước khi bị Rafael Nadal soán ngôi vào tháng 8/2008.