המעבר לתל אביב שהתרחש ב-1925 מסמן את ראשיתה של תקופה חדשה בחייו של יואל ולבה. בתל אביב החלה להתגבש בו ההחלטה כי עליו להרחיב את השכלתו הכללית ולהעמיק את הידע בתחום המוזיקה. זו התקופה בה הוא מתגבש בהחלטתו להמשיך בדרכו כמוזיקאי. מ-1925 ועד לסוף שנות ה-30 הוא מייסד תזמורות מנדולינות בישובים שונים בארץ. תזמורות אלה פעלו בחסות מועצות הפועלים. האלוף בצה"ל אהרון חרסינה שהיה אחד מהנגנים מקימי תזמורת המנדולינות בהרצליה מתאר בזכרונותיו השמורים בארכיון "יד ראשונים" את התפתחות העשייה התרבותית בהרצליה. לדבריו הוחלט להקים תזמורת מנדולינות בעיר. לשם כך פנו אל המורה יואל ולבה בבקשה שיקים תזמורת. עוד אומר חרסינה בזכרונותיו כי התזמורת הזאת פעלה שנים רבות ובמקביל לה הקים יואל ולבה תזמורות מנדולינות ביישובים אחרים. לדברי יואל ולבה התזמורות האלה אספו אליהם חובבי מוזיקה שלאו דווקא שלטו בנגינה בכלי זה והוא היה זה שלימד אותם לנגן. לאחר מכן היו מופיעים בקונצרטים לפני תושבי המקום.
הייתה גם התזמורת של חברי "המעביר" בתל אביב. זו הייתה חברת תחבורה ציבורית של אותם ימים (לימים שונה שמה ל"דן"). חברי התזמורת שהיו נהגים באותה חברה, היו מתכנסים בתל אביב ללימוד נגינה ולהופעות בקונצרטים. גם אלוף חרסינה מציין בדבריו כי הוא וחבריו היו במשך שנים רבות מלווים את יואל ולבה לקונצרטים בישובים אחרים שהיה מופיע בהם עם תזמורתו.
מקטעי עיתונות שנשתמרו מהימים ההם מסתבר כי כבר מ-1924 התקיימו בתל אביב קונצרטים בניצוחו של יואל ולבה. חלקם התקיימו באולם "אוהל שם" שהיה מרכז תרבות פעיל ותוסס ברחוב בלפור בתל אביב. נוגנו בהם יצירות מספרות העולם הקלסי. לא רק מנדולינות היו מרכיבות את כלי הנגינה של התזמורת גם כלי מוזיקה אחרים. והופיעו בהם גם סולנים. באותה תקופה מוזכרים קונצרטים אלה על ידי מבקרי המוזיקה ביניהם מנשה רבינא.
בתל אביב היה על יואל ולבה להתפרנס למחייתו ומוזיקה לא הייתה המקור היחידי לפרנסתו. על אף שהיה עסוק באותם שנים בנסיעות להופעות ממקום למקום ברחבי הארץ, עסק גם בעבודה בבניין, כפי שעשו זאת רבים ממתיישביה החדשים של תל אביב.
החלטתו של יואל ולבה להקדיש את חייו למוזיקה התגבשה באותן שנים והייתה מובהקת. וב-1925 גמלה בו ההחלטה להשלים את לימודיו הכלליים וללמוד גם לימודי מוזיקה. הוא התחיל ללמוד בגימנסיית ערב בתל אביב כדי לעמוד בבחינות לקבלת תעודת בגרות. ואכן עם תום אותה שנה זכה לתעודת בגרות. את לימודיו המסודרים למוזיקה וקבלת תעודת אמן עשה בסופו של דבר בקונסרבטוריון בווינה בשני מועדים וזה היה כבר במרוצת שנות ה-30 של המאה שעברה.
אולם בסוף שנות ה-20 בתל אביב גישש את דרכו כדי להרחיב את השכלתו המוזיקלית. עד ל-1927 למרות שהיה כבר בן 29 ומאחוריו שנים של עשייה מוזיקלית, לא פורסם שום שיר שהולחן על ידיו. נראה כי שנת 1927 הייתה שנת מפנה בחייו ובהם לא רק באה לידי ביטוי התבססותו כמנצח על מקהלות המנדולינות אלא גם פורסם שירו הראשון שהולחן על ידו. היה זה" שיר השתיל" למלים של יצחק שנהר. בזיכרונותיו הוא מספר כי הראה את השיר למוזיקאי מנשה רבינא שיעץ לו כי ימהר לקרן הקיימת לישראל ויקבל חצי לירה תמורת השיר... הוא מספר גם כי בתחילה בקרן הקיימת לא קידמו שיר זה בסבר פנים יפות. לימים הפך זה לאחד מהשירים הבולטים המושרים בט"ו בשבט. שיר זה מושר עד היום בביצועים שונים.
הדסה ביריביס, המוזיקאית שהכירה את יואל ולבה ב-1927, הייתה באותם ימים תלמידה למוזיקה בקונסרבטריון בתל אביב. לימים הפכה למורה למוזיקה ועבדה גם כמורה לפסנתר שהכשירה כמה מגדולי הפסנתרנים בישראל. מספרת על הפגישה הראשונה שהתקיימה בינה ליואל ולבה. הוא הופנה אליה על ידי הקונסרבטוריון התל אביבי שלמדה בו. יואל ולבה ששאף ללמוד מוזיקה בצורה מסודרת ולא יכול לממן את לימודיו במכון זה כיוון שהקדיש את זמנו לפרנסתו והלימודים היו יקרים. הוסכם עם הנהלת הקוסרבטוריון שהדסה תעביר לו את הלימודים שלמדה. היא גם תיעדה את השירים שנכתבו באותה תקופה על ידי מלחיני הדור. שיר השתיל של יואל ולבה כתוב בדף הראשון של מחברת התווים שלה.
במרוצת השנים הלך יואל ולבה להשתלם אצל מורי המוזיקה הבכירים בארץ ישראל של אותם ימים. החל מאותה תקופה גם העמיק את עיסוקו כמחנך, כמנצח על תזמורת וכמלחין. ואז החל לחבר מוזיקה לחגים השונים ולנשפי הפועל ולמכביה, לעדלאידע, לנשפי בית ביאליק. עדיין עבד לפרנסתו בעבודות בניין שונות בכל אותן שנים. וב-1933 ולאחר מכן ב-1937 נסע ללימודים מסודרים בקונסרבטוריון בווינה. במסגרת זו זכה לתעודת אמן. החל מאותה תקופה החל להורות מוזיקה בבתי ספר יסודיים בתל אביב ולאחר מכן בבית המדרש למורים ולגננות ע"ש לוינסקי. שם לימד נגינה בחלילית ובקונצרטינה. למורות ולגננות העתיד. בשנות ה-60 המשיך בלימודיו לקבלת ד"ר לפילוסופיה בווינה.
חלק נכבד משיריו מעיד גם על אורח חייו ועל שאיפתו לתת מענה לצרכים החברתיים והתרבותיים של היושבים בציון. בהמשך ל"שיר השתיל" חיבר את שירי ההורות שלו שהשתיים המפורסמות ביותר הן "הורה מדורה" ו"הורה סחרחורת", שירי רועים, ושירי מולדת שונים שתכניהם מביעים את תקומה בארץ. כמחנך חש בחסרון שירים מהווי העם והארץ וחיבר שירים לענות על חסר זה. לדוגמה שירי טבע ותקופות השנה, שירי חגים (יש כ-30 שירים שחיבר למועדי ישראל). השירים האלה מציגים תכנים המתאימים לחיי המתישבים החוזרים לארצם. השירים האלה הוצעו לסמינריסטיות שאותן לימד נגינה בקונצרטינה ובחלילית.
