Nie wiemy, kiedy powstał.
Być może było to wiek XVII, chociaż przypuszczalnie istniała tutaj wcześniej graniczna osada czy też punkt celny na szlaku handlowym. Witamy w Zwardoniu!
Najstarszą częścią Zwardonia jest osiedle Myto. Jego nazwa pochodzi od opłat za przekroczenie granicy. Legenda głosi, że w XVII wieku na Mycie pojawili się czterej bracia Zwardonowie i tu wybudowali swoje zagrody zajmując się hodowlą i wypasem owiec. Być może byli to pasterze wołoscy lub też włościanie, którzy przeniesieni w górne rejony Soły z przeludnionych wsi klucza Węgierska Górka za czasów Mikołaja Komorowskiego właściciela Państwa Żywieckiego,
Nazwa Zwardoń pojawia się na mapie końcem XVIII wieku przy istniejącym już wówczas bitym trakcie oraz w dokumentach określających zasięg cyrkułu myślenickiego (od 1821 roku wadowickiego).
3 listopada 1884 roku została otwarta linia kolejowa z Żywca do Czady przez Zwardoń. Teren ówczesnego Zwardonia (obecnie centrum) dookoła stacji kolejowej, na której zatrzymywały się pociągi pośpieszne jadące ze Lwowa przez Kraków do Wiednia, nazywał się „świńska młaka” – było to trzęsawisko otoczone lasami. Zwabieni możnością zarobków przybywali tu nie tylko mieszkańcy okolicznych przysiółków, ale również ludzie z innych krajów. Osuszano „świńską młakę”, karczowano kupiony od właścicieli pobliski las i budowano drewniane chałupy, a bogatsi wznosili murowane domy. W chwili, gdy wjeżdżał pierwszy pociąg stało już 8 domostw. Po prawej stronie stacji istniały już małe skupiska osiedli – Pydychy i Groń, liczące po kilka zagród. Pięć lat później osada liczyła 18 domostw i 124 mieszkańców (64 mężczyzn i 60 kobiet). 1 czerwca 1891 roku roku został uruchomiony Urząd Pocztowy w Zwardoniu.
Budynek jednoklasowej szkoły ludowej powstał w roku 1901,w roku 1918 powstała polska szkoła dwuklasowa, która w latach dwudziestych XX w. otrzymała imię Królowej Jadwigi.
W latach trzydziestych Zwardoń stał się bardzo znaną i modną stacją narciarską. Korzystny mikroklimat pozwalający na długie utrzymywanie się pokrywy śnieżnej, doskonałe bezleśne stoki od strony Rachowca i Skalanki, dobre połączenie kolejowe, powstające pensjonaty i schronisko (PTT) sprawiły, że zaczęli zjeżdżać tu narciarze z całej Polski (zimą kursowały nawet specjalne pociągi z Warszawy) i pod tym względem Zwardoń odciążył nieco nawet Zakopane. W roku 1929 założono w Zwardoniu Koło żywieckiego Oddziału Babiogórskiego PTT, które wkrótce zorganizowało tzw. „zbiorową stację turystyczną”. Głównymi twórcami tego koła byli M. Augustynowicz, W. Pantofliński, inż. Pretrusiewicz oraz inż. Baecker. Dysponowała ona w okolicznych domach góralskich ponad 100 miejscami noclegowymi, wykorzystywanymi głównie przez narciarzy. W roku 1930 w Zwardoniu (jak podaje przewodnik W. Midowicza „Zwardoń i okolica”) istniała skocznia narciarska.
W czasie II wojny światowj przeprowadzili akcję wysiedleńczą. Zwardoń musiało opuścić 356 dotychczasowych mieszkańców, a w ich miejsce osiedlono 53 kolonistów niemieckich.