היום, הלימודים בבית הספר מתנהלים, כמובן, בעברית. אבל לפני מאה שנה, בימיה הראשונים של תל אביב, זה לא היה מובן מאליו. העברית הייתה שפה עתיקה, וכמעט לא השתמשו בה בחיי היום יום- רוב תושבי העיר דיברו ביניהם בשפת הארץ שממנה עלו. לכן, הקמת גימנסיה הרצליה, בית הספר העברי הראשון שהלימודים בו התנהלו בשפה העברית, היה מאורע חשוב מאוד לא רק בתל אביב, אלא בארץ כולה! זה לא היה פשוט כל כך לקיים את הלימודים בעברית: לא היו שפרי לימוד, לא היו תכניות לימודים, ולא פעם חסרו גם מילים... אבל בגימנסיה הצליחו במשימה, והמוני תלמידים ביקשו ללמוד בה. הם באו מתל אביב, ממקומות אחרים בארץ, ואפילו מן הגולה.
הגימנסיה לא הייתה בית ספר רגיל. היא הייתה מרכז תרבות ממש, ובעיקר מרכז למוזיקה. אחד המורים הבולטים בגימנסיה היה מלחין ושמו חנינא קרצ'בסקי. הוא הקים בגימנסיה מקהלות ותזמורות, ובכל יום שישי הוא יצא עם תלמידיו לרחוב הרצל, הרחוב שבו שכנה הגימנסיה, והם צעדו בתהלוכה וניגנו ושרו שירים חלוציים.
בשנת 1959 נהרסה הגימנסיה כדי לאפשר את התפשטות העיר, במקום הגימנסיה הוקם מגדל שלום. בית הספר עבר למקום חדש ברחוב ז'בוטינסקי. אנשים רבים חשבו שההריסה הייתה טעות, כי למבנה של הגימנסיה הייתה חשיבות היסטורית - הוא היה סמל של העיר העברית הראשונה. בגלל הביקורת של האנשים וכדי למנוע טעויות כאלה בעתיד הוקמה "המועצה לשימור אתרי מורשת בישראל", שתפקידה לפעול לשימור ולשיקום של מקומות היסטוריים חשובים בישראל.
