בארץ ישראל הצטרף למייסדי קיבוץ אפיקים, שנקרא 'ס.ס.ס.ר' באותם ימים. התיישבותם החלה בבית גן סמוך ליבנאל, וכשהגיע זעירא למקום כבר היו שם ארבעה אוהלים, שהקימו המייסדים הוותיקים יותר. הוא עבד בשדה, בפרדס ובתפירת נעליים לחברי הקבוץ היחפים. סנדלרות הוא "למד" משני חברים בקייב, שלמדו את המקצוע בקורס קצר לאחר המהפכה; כ'בורגנים' לשעבר הם לא יכלו להתפרנס בדרך אחרת. חבריו קראו לו מיטיה "מסרקי" (תרגום שם משפחתו מרוסית, וכן מפני שהצטיין בנגינה על מסרק ונייר סיגריות). כשנתפס בקיבוץ רושם בסתר תווים על פתקים בשעות העבודה, נתבע לדין חברים, וחברותו בקיבוץ הושעתה לשלושה חודשים. כשעברו החברים לעפולה, עבד שם זעירא כפועל בניין. באותו יישוב פגש במשה הלוי, מייסד תיאטרון 'האוהל', אשר חיפש כשרונות לתיאטרון החדש שיסד. בעקבות הפגישה עימו הוא החליט ללמוד משחק בסטודיו של התיאטרון החדש.
לאחר שעזב את הקיבוץ, עבד בעבודות מזדמנות שונות - בסלילת כבישים,דייג בעכו, בתיאטרון וכסוכן מודעות פרסומת. הוא נדד במקומות שונים בארץ, בין חדרים שכורים, עובד ומובטל לסירוגין, עם מזוודת נצרים אחת שאבדה לו (ובה לחני שירים שכתב, ומוסיקה ל'מגילת האש' של ביאליק). רגיעה מנדודים אלה היתה בשנת 1930 בזכותו של המוסיקאי פרופ' דויד שור. אביונותו וטלטוליו של המלחין נגעו ללבו, ובתיווכו סודרה לזעירא עבודה במפעלי האשלג בים המלח. במפעלים אלה עבד עד לשנת 1933. בסוף אותה שנה הוא מצא עבודה ב'חברת החשמל', בתחילה כפועל חופר בורות לעמודי חשמל, ולאחר שובו מהשרות הצבאי בבריגדה, כבודק מונים. לאחר שלקה בהתקפת לב ראשונה ב-1947 הועבר למחלקת החשבונות של החברה, כדי שלא יצטרך לאמץ את ליבו בטיפוס על מדרגות. מעבודה זו התפרנס עד לפרישתו ב-1966 ואת המוסיקה שהלחין חיבר לאחר שעות העבודה.
בערך בשנת 1927 הכיר את שרה גוטמן, תלמידת סימינר לגננות 'לוינסקי', ששכנעה אותו להצטרף למקהלת 'בית לויים' בה היא שרה, ועליה ניצח מנשה רבינא. החיזור אחריה הניב את המוסיקה לחזיון 'מגילת האש' שהועלה בסימינר. באותה מקהלה שר גם המחזאי אהרון אשמן, אשר הציע לו לשנות את שם משפחתו לזעירא, שם מתאים לאדם, שלדעת המשורר, היה לא רק קטן קומה, אלא גם צנוע וענו. בתעודת האזרח הפלשתינית שניתנה לו באוגוסט 1928, הוא כבר רשום כ"זעירא". את שרה נשא זעירא לאשה בינואר 1933 בכפר ויתקין, וב-1935 נולד בנו יחידו, יובל, גיבור ה'שיר לאלף עריסות' (למילותיו של יעקב אורלנד).