בעליית 'אעלה בתמר' (1882) המפורסמת, שבמסגרתה עלו יהודי תימן לארץ ישראל מתוך כיסופים לארץ ישראל ותחושה של גאולה, התיישבה קבוצה מתוכם בירושלים על צלע הר הזיתים. בשנת תרמ"ד (1884) נבנו הבתים הראשונים של הכפר על ידי אגודת "עזרת נידחים", ועם השנים והתפתחות הכפר נבנו במקום גם בתים פרטיים, והכפר נקרא על שמם של התימנים.

בתקופת פריחתו גרו בכפר כ-500 יהודים (144 משפחות) בלמעלה מ-90 בתים, והיו בו ארבעה בתי כנסת, תלמודי תורה, בית תבשיל, גן ילדים, מרפאה, בתי מלאכה ובור מים לצרכי הציבור. בשנת תרצ"ח (1938) פינו הבריטים את הכפר מתושביו מחשש לשלומם וזאת בעקבות פרעות הערבים. הבריטים שלא יכלו להגן על התושבים במקום הבטיחו להחזירם לבתיהם אולם ההבטחה לא מומשה מעולם.

בשנת תשס"ד (2004) חודשה ההתיישבות היהודית בכפר ומשפחות יהודיות חזרו לגור במקום.  כיום מתגוררות בכפר השילוח משפחות יהודיות במספר מתחמים שונים הפרוסים ברחבי הכפר: בית עובדיה ,בית פרומקין, בית רחל, בית הדבש ובית יהונתן. בית הכנסת העתיק בכפר חזר לפעול והוא משמש היום גם כמרכז מורשת וכמרכז חיי הקהילה.