Historia szkoły, w której obecnie mieści się II LO, sięga lat trzydziestych. Inicjatywę rybnickich władz oświatowych, postulujących o utworzenie nowej placówki, poparł wojewoda Grażyński oraz Sejm Śląski. W 1932r. przyjęto projekt budowy szkoły autorstwa Tchórzewskiego. 15.03.1935r. budynek, doskonale wyposażony, oddano do użytku. Pierwszym kierownikiem Powszechnej Szkoły Publicznej nr 5 został Oskar Dechow.

Decyzją Ministerstwa Wyznań Religijnych i Oświecenia Publicznego nadano szkole imę żyjącego jeszcze wówczas marszałka Józefa Piłsudskiego.

Burzliwe lata trzydzieste i czterdzieste to czasy, kiedy budynek szkoły pełnił różne – nie zawsze zgodne ze swym pierwotnym przeznaczeniem – funkcje. 1938r. w budynku stacjonowali żołnierze oczekujący na rozkaz rozpoczęcia operacji militarnej na terenie czechosłowackiego Zaolzia. W okresie okupacji hitlerowskiej w obecnym budynku funkcjonowała (1939 – 1941) niemiecka szkoła. W czerwcu 1941r. władze okupacyjne umieściły w tym miejscu szpital wojenny. Uczniowie przeniesieni zostali do jednego z domów prywatnych.

Budynek szkoły ucierpiał w czasie działań wojennych w 1945r., tak więc kiedy 15.04.1945r. wznowiono zajęcia dydaktyczne, lekcje odbywały się w budynku zastępczym. 20.07.1945r. gmach przy ulicy Mikołowskiej przekazano do użytku młodzieży. Wtedy też postanowiono go wyremontować by pracę w nowym roku szkolnym rozpocząć w godziwych warunkach.

W latach 1945 – 1948 w budynku szkoły działała ponadto Rejonowa Komisja Kształcenia Nauczycieli Niekwalifikowanych, organizująca kursy dokształcające.

1 września 1948r. utworzono Szkołę Ogólnokształcącą Żeńską Stopnia Podstawowego i Licealnego. W nowo utworzonej placówce oświatowej młodzież kształcono w systemie jedenastoletnim. Pierwszymi uczennicami klas wyższych – licealnych były dziewczęta ze zlikwidowanej szkoły sióstr urszulanek oraz Liceum im. Powstańców Śląskich, którą przekształcono w szkołę męską. W trzy lata później, w dniach 17.05 – 18.06.1951r. w murach przy ulicy Mikołowskiej odbył się pierwszy egzamin dojrzałości. We wrześniu 1953r. w budynku szkoły rozpoczęło działalność Państwowe Liceum Pedagogiczne (kształciło pedagogów do 1961r.).

W 1961r. szkole nadano imię Hanki Sawickiej. Dwa lata później liceum stało się koedukacyjne. W roku szkolnym 1974/75 powołano Liceum dla Pracujących (obecnie Liceum dla Dorosłych) i Zasadniczą Szkołę Zawodową. W 1981r. w pożarze I LO im Powstańców Śląskich II LO stało się przejściowo miejscem nauki dla uczniów ze szkoły przy ulicy Kościuszki.
Rok 1996 przynosi zniesienie imienia Hanki Sawickiej. Po trzech latach funkcjonowania szkoły jako „bezimiennego” II LO w dniu 27.12.1999 szkole nadano na wniosek nauczycieli, rodziców i uczniów imię Andrzeja Frycza Modrzewskiego.