Skolen ved Stadion er startet i 1967. Den er opført som en montageskole bestående af 12 pavilloner og en gymnastiksal. På denne måde oprettede Statens Åndssvageforsorg i løbet af 60-erne 33 skoler, som i daglig tale fik navnet ”De grønne skoler”, fordi de alle blev placeret i parklignende anlæg. Forsorgens samlede skolevæsen kom herved op på 49 skoler.
Forløberen for Skolen ved Stadion hed Skolen i Laurids Skausgade; her startede man allerede tilbage midt i halvtredserne. Skolen kaldtes en eksternatskole, fordi de åndssvage børn kunne modtage undervisning her, samtidig med at de boede hjemme.
De første eksternatskoler i Danmark blev oprettet i løbet af 40-erne, men i hele perioden op til ca. 1960 var deres antal ikke stort. Vi kan således konstatere, at vores skole har været med fra den tidligste begyndelse. Først med åndssvageloven af 1959 blev det fastslået, at åndssvage har ret til undervisning. Her har vi begrundelsen for det store skolebyggeri inden for forsorgen i 60-erne.
I 1980 blev alle forsorgsgrene nedlagt som følge af socialreformen. For skolen fik dette den betydning, at den fra at være en del af Statens Åndssvageforsorg blev til en specialskole, drevet af Sønderjyllands Amt. Fra at være en institution underlagt Socialministeriet blev Skolen ved Stadion til en folkeskole under Undervisningsministeriet. Dette betød, at de regler, der gjaldt for andre skoler, nu også kom til at gælde her.
Forældreindflydelsen blev styrket ved, at samrådet, som havde meget begrænset indflydelse, afløstes af et skolenævn, som i 1990 ændredes til en skolebestyrelse.
I 1984 blev skolen delt i 2 afdelinger - én til undervisning af børn med afsæt i folkeskoleloven og én til undervisning af voksne med afsæt i lov om specialundervisning af voksne. Sidstnævnte blev i 1992 gjort til en selvstændig skole med navnet Haderslev Voksenskole dog stadig med et administrativt og ledelsesmæssigt fællesskab med Skolen ved Stadion. Dette ophørte i 2002, hvor voksenskolen blev en del af VUC.
Skolens elevtal havde i en lang årrække været meget stabilt mellem 40–45, men fra 1996 og frem er der sket en meget markant stigning.
I 2013 har skolen fire afdelinger: A afdelingen primært for børn, der er diagnosticeret indenfor autismespekteret med ca. 45 børn og unge, D afdelingen med børn og unge, der primært er diagnosticeret indenfor ADHD området med ca. 60 børn, G afdelingen, der primært er for børn med generelle udviklingsforstyrrelser med ca. 60 børn, Stevelt en lille afdeling med 5 børn og unge der har omfattende følelsesmæssige og sociale vanskeligheder. A, D og G afdelingerne har hver deres afdelingsleder.
I 1990 blev der på skolen oprettet en SFO for børnene efter skoletid. Denne er senere udvidet, så der nu også er mulighed for at komme før skoletid. SFO’en er opdelt i afdelinger med hver sin børnegruppe. Fritidshuset og Ungdomshuset for børn med generelle udviklingsforstyrrelser, Remisen for ADHD-børnene og A-huset for børnene med autisme.
I 2013 er skolen placeret på tre matrikler, A og G afdelingerne på Louisevej, D afdelingen i Vonsbæk gamle Skole og Stevelt-afdelingen på en nedlagt landbrugsejendom i Stevelt.
I 2014 er de gamle pavilloner på Louisevej blevet fjernet og nybyggeri på skolen begynder i 2015, indtil dette er afsluttet, er primært G-afd. på Marstrup Skole. I samme forbindelse har skolen købt den tidligere VUC-byning på Christiansfeldvej, der er blevet moderiseret og primært A-afd., SFO samt skolens bibliotek er flyttet hertil.
Som følge af amternes nedlæggelse i forbindelse med kommunalreformen pr. 1. januar 2007, overgik Skolen ved Stadion fra amtsligt til kommunalt regi og er nu Haderslev Kommunes specialskole. Skolen er ledelsesmæssigt forankret i distrikt Nord, med reference til distrikschefen. Skolen modtager elever fra alle distrikter i kommunen.