Początki klubu związane są bezpośrednio z historią grupy kilku nastolatków, którzy byli mieszkańcami dzielnicy górniczej Gelsenkirchen. Łączyła ich wspólna pasja, a mianowicie gra w piłkę nożną. Pewnego dnia dochodzą oni do wniosku, że świetnym pomysłem byłoby założenie klubu piłkarskiego. Czwartego maja 1904 roku gromadzą się wszyscy w jednym z okolicznych miejskich pubów i podejmują ostateczną decyzję o założeniu klubu, który nazwali Westfalia Schalke. Pierwszym miejscem, na którym swoje mecze miał rozgrywać nowy zespół, była na szybko przystosowana do tego łąka. Pierwszymi barwami klubu był żołty oraz czerwony, które zapożyczone od strojów reprezentacji holenderskiej. Federacja Piłkarska Zachodnich Niemiec nie chciała jednak dopuścić klubu do rozgrywek uznając go za dziki. Spowodowało to, że drużyna miała możliwość rozgrywania meczy tylko lokalnie z innymi drużynami. Oficjalna rejestracja klubu przez miasto ma miejsce w 1909 kiedy liczy on sobie łącznie już czterdziestu członków. Władze miejskie postawiły jednak jeden wymóg – prezesem musiał posiadać ukończone dwadzieścia jeden lat, z tego też powodu stanowisko to obejmuje Heinrich Hilgert. Nadanie nazwy znanej do dzisiaj miało miejsce w roku 1924 kiedy to nastąpił drobny rozłam w klubie i odłączenie się sekcji piłkarskiej. Zmienione zostały wtedy także barwy klubu na niebiesko-białe i jak wiadomo w takowej formie pozostają do dzisiaj.