Potrzeba jednego organu nadzorującego piłkę nożną na całym, stała się szczególnie widoczna na początku dwudziestego wieku. Fifa została została założona w Paryżu 21 maja 1904 roku, stąd pochodzi francuskojęzyczna nazwa oraz skrót. Pierwszym prezydentem FIFY został Robert Guérin.
FIFA przewodniczyła pierwszej międzynarodowej konkurencji w 1906 roku, lecz działania nie uzyskały oczekiwanych efektów, a popularność spadła. Wówczas zmieniony został prezydent, a nowym został Daniel Burley Woolfall z Anglii. Następny turniej piłki nożnej odbył się na Igrzyskach Olimpijskich w Londynie w 1908 roku. Przebieg turnieju zyskał olbrzymią popularność i odniesiono olbrzymi sukces.
Skład FIFA rozszerzony został poza Europę. Początkowo przystąpiła Afryka Południowa w 1908 roku, następnie Argentyna i Chile w 1912, a także Kanada i Stany Zjednoczone w 1913 roku.
FIFA została jednak rozbita z powodu I wojny światowej, gdyż wielu zawodników zostało wysłanych na wojnę, a możliwości podróżowania zostały w bardzo drastyczny sposób ograniczone. Po wojnie i śmierci Woolfalla, prezydenturę objął Holender, Carl Hirschmann. Z powodu wyników wojny, Zjednoczone Królestwo wystąpiło z członkostwa w konfederacji, jednak w późniejszych latach je wznowiono.