המבנה הראשון שנבנה בכפר היה בית הכנסת, ועד היום הוא בולט באיזור בזכות שלוש הכיפות המעטרות את גגו. בית הכנסת עמד ברכז חיי הקהילה כמו בקהילות רבות בעולם היהודי, ושימשאת התושבים לתפילה בימי חול, בשבתות ובימים טובים; להרבצת תורה בתינוקות של בית רבן אצל "המורי"; וכנהוג בתימן, ללימוד תורה מחצות הלילה ועד לתפילת ותיקין. צמוד לבית הכנסת מדרום יש בור מים גדול ששימש את תושבי הכפר.

בעקבות מאורעות תר"פ ותרפ"ט (1920; 1929) הדלדלה האוכלוסייה היהודית, ועם פרוץ מאורעות תרצ"ו-תרצ"ט (1936-1939) החליטו הבריטים לפנותם בטענה שאינם יכולים להגן עליהם מפני הפורעים. וכך, בי"ז–י"ח באב תרצ"ח (1938) נאלצו היהודים יוצאי תימן לעזוב את הכפר, תוך הבטחה שרכושם יישמר והם יוכלו לשוב לבתיהם כשיירגעו הרוחות. אולם הבטחה זו לא מומשה. הערבים בזזו את הרכוש, הרסו את הבתים והשתמשו באבניהם בשימוש משני.

בשנת תש"ו (1946), לאחר שרבים מבתי הכפר נבזזו ונחרבו, החליט ועד העדה הספרדית להשכיר את מבנה בית הכנסת למשך שלוש שנים לערבי מסילואן כדי להגן עליו. שלוש שנים לאחר מכן, בשנת תש"ט (1949), עבר המקום לשליטה ירדנית.

חוזה השכירות של בית הכנסת שימש לאחר שנים ראיה לכך שהמקום נותר בידיים יהודיות והדבר הפך לאבן פינה בתהליך החייאת ההקדש וגאולת הכפר על בתיו אדמתו.

בי"ז אייר תשע"ה (2015), לאחר 7 שנים של הליכים משפטיים, נגאל החלק הצפוני של בית הכנסת. עוד באותו בוקר התקיימה בו תפילת שחרית, ומאז לא פסקו קולות התפילה ולימוד התורה בבית הכנסת של כפר התימנים.