Yahudilerin binlerce yıldır İsrail topraklarında yaşadığına kanıt olan gösterilen tek metin M.Ö. 1200 yıllarına kadar dayanan "Merheptah Steli" metnidir. Taş üzerine kazınarak yazılan bu metnin son 2 satırında şunlar yazmaktadır: "Kenan zorlukla yağmalandı. Aşkelon alındı, Gezer kuşatıldı, [ve] Yano‘am tamamen harap edildi. İsrail yıkıldı, tohumu kalmadı.” Araştırmacıların tahminlerine göre bu metin II. Ramses’in 13. oğlu olan Merneptah döneminde yazılmıştır.
Yahudiler kuruldukları ilk dönemde Biblik yargıçları tarafından yönetilmiş olup sonrasında Kral Davut Kudüs'ü İsrail ve Yehuda Birleşik Krallığına başkent seçmiştir. Başkent Kudüs merkezli olarak 12 İsrailoğlu kabilesi yönetilmiş olsa da zaman zaman bağımsız yaşadıkları da olmuştur.
Davut'un oğlu Süleyman, M.Ö. 970 yılında İsrail'in Kralı olmuş ve Kutsal Tapınağı inşa ettirerek sonrasında kuzeyde bulunan 10 kabile Krallığından ayrılmıştır. Asurların gelip bu topraklara saldırması ve işgal etmesi sonucu M.Ö. 722'de Yahudiler bu topraklardan ayrılmak zorunda kalmış, Asurlar tarafından sürgün edilmişlerdir. Fakat işgaller devam etmektedir, bir diğer Yahudi Krallığı olan Yehudalar'ın da Babiller tarafından yenilgiye uğratılması sonrası, Babiller Kudüs Tapınağına yok etmiş, hemen akabinde Yahudileri bu topraklardan kovmuşlardır. 50 yıl boyunca sürgünde yaşayan Yahudilere, Pers Kralı Büyük Kiros tarafından Kudüs'te yaşamlarına devam edebilecekleri söylenmiştir.
Babillerin yıktığı Kutsal Tapınaktan 70 yıl sonra, ikinci Tapınağın inşası Darius Hükümdarlığı döneminde tamamlanmış olup M.Ö. 152 yılında Mattathias, Haşmonayin Krallğını kurarak Kudüs'ü tekrar başkent yapmıştır. 100 yıl kadar sonra Gücünü arttıran Roma İmparatorluğu'nun tahta geçirdiği Herod, Haşmonayim Krallığını kontrolü altına almıştır. Roma'nın Yahudiler üzerinde kurduğu bu egemenlik Yahudi-Roma savaşlarının başlamasına sebep olmuştur. M.S.70 yılındaki birinci ayaklanma ve MS.135 yılındaki Bar Kohba ayaklanması sonrası yenilgiye uğratılan Yahudiler yaşadıkları şehirlerden sürgün edilmiş, birçok Yahudi ise Roma İmparatorluğu tarafından köle olarak satılmışlardır. Bu sebeple Yahudiler dünyanın 4 bir yanına yayılmışlardır. Köle olarak satılan dönemin Yahudileri, ilk önce Avrupa, sonra Orta doğu ve Kuzey Amerika'ya yayılmışlardır.