בראש חודש חשוון תס"א (27 באוקטובר 1700) התיישבה במקום חבורת עולים מאירופה בהנהגת רבי יהודה חסיד, והקימו בית כנסת. בח' חשוון תפ"ב (27 באוקטובר 1721) , שרפו ערבים את בית הכנסת והחצר.
בשנת תקע"ו (1816), כמעט 100 שנה אחרי החורבן הראשון של בית הכנסת, הצליחו עסקנים המשתייכים לעליית תלמידי בית הכנסת הגר"א, להשיג "פרימן" (רשיון) מקושטא לביטול החובות הישנים וחידוש הבניין. והוא נחנך מחדש בשנת תרכ"ד (1864). חידוש בית הכנסת, והקמת החורבה על תילה, נתפסה כסימן לתחילת הגאולה.
מאז הקמתה הפכה "החורבה" או בשמה המלא "בית הכנסת בית יעקב שבחצר חורבת רבי יהודה חסיד" - לבית הכנסת הגדול, המפואר והחשוב בכל ארץ ישראל ולמרכז החיים ברובע...
בהיכל זה הוכתרו רבניה האשכנזים של ירושלים וארץ ישראל. פה בתפילה חגיגית הופקד דגל הגדודים העבריים שנלחמו במלחמת העולם השניה. וממקדש מעט זה יצאה הזעקה להצלת יהודי אירופה, בעצרת תפילה שבראשה עמדו הרב הראשי יצחק איזיק הלוי הרצוג, והאדמו"ר רבי מרדכי אלטר מגור.
יומיים לאחר שנפל הרובע במאי 1948, פוצצו הירדנים את בית הכנסת, כמעשה סמלי המבטא את נצחונם. כך הפכה "החורבה" לגל חורבות בפעם השניה בתולדותיה. רצף החיים היהודיים ברובע היהודי נקטע ל-19 שנים.
אחרי מלחמת ששת הימים נתגלה לבאי הרובע היהודי מראה חורבותיו. כמו הרובע, גם "החורבה" הייתה גל של הריסות...
מששוקם הרובע החליטו המתכננים שלא להתמודד עם המונומנטים ההיסטוריים שהיו סמלי הרובע וחרבו. בתי הכנסת נוקו מהריסותיהם ומה שנמצא, שוחזר כמתחם ארכיאולוגי. קשת הקיר הצפוני שוחזרה ונשארה עדות אילמת צועקת לשמים.
החורבה הייתה חלק ממסכת האדריכלות של ירושלים. כיפת החורבה הפכה לסמל ולדמות לבית כנסת. היא חרוטה בזיכרון הקולקטיבי של העם היהודי, וניתן לחוש בחסרונה.
החברה לשיקום ולפיתוח הרובע היהודי, החליטה להחזיר עטרה ליושנה ולשחזר את בית כנסת "החורבה" כפי שהיה. –נכון להיום נמצא הפרוייקט בשלבי בנייה .