波斯人和希臘人的統治
從西元前538年到前331年，巴勒斯坦被波斯人征服後，在兩百年的時間裡一直是波斯帝國的一個省。
從巴比倫回到巴勒斯坦的猶太人，一度很消沉，對猶太教的信仰也不那麼堅定了，許多人娶了異族女子為妻，有些人甚至連希伯來語都不會說了。西元前457年從巴比倫回到耶路撒冷的一位先知以斯拉看到這種情形後，對猶太民族的前途深感憂慮。他同猶太社團的領袖們協商後，命令所有娶了外族女子為妻的人都必須休掉他們的妻子。同時，以斯拉再次向人們宣讀《律法書》，要求人們學習和遵守教律。在採取了這些措施後，猶太人的宗教信仰又有所加深。另一位從巴比倫返回的先知叫尼希米，他被波斯王任命為巴勒斯坦的省督。回到耶路撒冷後，尼希米進行了一些社會改革，強迫富人們放棄了債務，把奪取的土地歸還給窮人，並減輕了人民的稅賦。他還組織人們重修了城牆，防止外族的入侵；他還並規定猶太人必須嚴守律法，遵守安息日製度。這樣，巴勒斯坦的猶太人口逐漸增加，社會安定，經濟也繁榮了起來。
在第二聖殿時期的前兩百年裡，猶太人經歷了一段相對來說較為平靜和繁榮的歲月。他們雖然處於波斯帝國的勢力範圍內，但寬容的波斯國王卻能讓他們保持著很大程度的自治。在這個期間，猶太人的民族意識和宗教思想都有了極大的發展，尤其是猶太宗教律法體系已基本形成，它對規範猶太人的個人生活和社會生活起到了巨大的作用。巴勒斯坦的猶太人與留在巴比倫的猶太人在學術上、政治上和文化上也保持著頻繁的來往，成了猶太人的兩個宗教和文化中心。
西元前331年，來自希臘的馬其頓國王亞歷山大打敗了波斯帝國，征服了包括伊拉克、巴勒斯坦、埃及等地在內的整個地中海東南沿岸地區。從此，猶太人的歷史也進入了一個「希臘化時期」。
希臘人的統治總的來說也還算比較寬容，猶太人被允許保持他們原來的宗教和文化，他們與歐、亞、非各地的貿易往來也受到鼓勵，因此有許多猶太人逐漸移居到了希臘、敘利亞和埃及的亞歷山大城等地，這樣，猶太教也隨之傳播到了這些地區。然而，在這個時期，猶太人的宗教和文化也受到了希臘文化的巨大衝擊，希臘人的語言、哲學、宗教、文學逐漸滲透進了猶太人的生活中。他們中一些人取了希臘姓名，講希臘語言，接受了大量希臘人的風俗習慣，猶太人中還出現了像斐洛這樣溝通猶太教與希臘哲學的大學者。也就是在這一時期，有70名生活在亞歷山大的猶太學者把猶太人的《希伯來聖經》譯成了希臘語。這個被稱為《七十子希臘文本》的聖經譯本對猶太宗教思想的傳播起了很大的作用。
馬卡比王國
希臘化時代的後期，統治著巴勒斯坦的塞琉古王朝變得日益殘暴，對猶太人實行民族和宗教壓迫。塞琉古統治者們強迫猶太人服苦役，讓他們築城修路。希臘士兵強迫猶太人貢奉多神教的偶像，他們肆無忌憚地玷汙和破壞猶太聖殿，在聖殿中尋歡作樂，甚至把猶太人最忌諱的豬作為祭品放在聖殿的祭壇上。統治者還規定猶太人不得私藏希伯來文的書籍，違者處死；不準猶太人守安息日和過其他猶太節日。這些做法使猶太人忍無可忍，最後終於激起了他們的反抗。西元前165年，猶太人在哈斯蒙尼家族的老祭司馬塔提亞及其五個兒子的帶領下舉行了反抗塞琉古王朝的起義。
為了反對希臘人的宗教同化政策，起義者們自稱為「虔誠者」。他們聚集在猶地亞的深山老林裡，不斷地襲擊希臘人，壯大自己的力量。老祭司馬塔提亞在起義爆發後不久就去世了，他的三兒子猶大·馬卡比成了起義軍的首領。在經過了20多年的浴血奮戰後，起義者們終於得到了日趨衰落的塞琉古王朝的承認，建立起一個以耶路撒冷為首都的猶太人自己的獨立國家。歷史上根據這個國家的建立者稱其為馬卡比王國，或者根據其統治家族稱其為哈斯蒙尼王朝。這樣，在古代南北兩個希伯來王國被消滅後，猶太民族又出現了一個短暫的中興時期。
馬卡比王國存在了約一百年的時間，這個猶太人王國的版圖最大時超過了大衛王和所羅門王時代，包括了整個巴勒斯坦及其周邊地區。除了過去希伯來人的撒馬利亞和猶地亞外，北方的加利利地區也從此納入了猶太國家的範圍，並成為猶太人口中心之一。這個時期也是猶太民族發展的一個重要時期，一些古老的民族在這一時期接受了猶太教，成為了猶太民族的一部分。在馬卡比王國時期，猶太教在教義和教法方面也得到了進一步的發展和完善。這個國家的特徵之一就是政教合一，猶太教祭司集團享有極大的政治權力，國王一般也都是從這個集團中產生。
到後期，王國的危機主要來自兩個方面：一方面是國內的矛盾和鬥爭，表現為統治集團內部爭奪權力的鬥爭以及上層的祭司集團與下層的平民之間的階級矛盾；另一方面是外部的威脅，主要是強大的羅馬帝國的擴張。內部的爭斗極大地削弱了馬卡比王國的力量。西元前63年，羅馬統帥龐培率大軍在圍困了三個月後，終於攻破了耶路撒冷城。一萬多名猶太人被殺死，另有一大批人被俘後解押到羅馬，淪為了奴隸。從此，巴勒斯坦成了羅馬帝國的屬地，猶太人再一次陷於一個外來民族的統治之下。
羅馬人的統治
在希臘和羅馬人統治期間，猶太人的人口有了很大的增長。西元前一世紀一位叫斯特拉波的地理學家寫道，在整個已開化的世界里，沒有什麼地方沒有猶太人的影響。據說，當時羅馬帝國的人口中約有近十分之一是猶太人，總數約為700萬。帝國內各地都有猶太人，他們分散在巴勒斯坦、敘利亞、埃及、北非、希臘、義大利等許多地方，僅巴勒斯坦一地大約就有250萬。當然，增加這麼多的猶太人口不僅只是靠自然的人口出生，而在很大程度上是猶太教接受了許多新皈依者。
羅馬帝國的統治遠不如希臘人那麼寬容和開明。開始時，羅馬人實行間接統治，任命一位當地接受了猶太教的以土買人希羅德為巴勒斯坦的國王。希羅德是一個凶殘冷酷的君主，而且以揮霍無度、大興土木和橫徵暴斂而聞名。他在位的三十二年間，在巴勒斯坦修造了許多希臘、羅馬式的建築，但他同時也修葺和擴建了猶太聖殿。這樣，希羅德就具有兩重身分。在國外，人們把他視為猶太人的國王，散居在各地的猶太人遇到困難還會向他尋求幫助；但是在巴勒斯坦，希羅德卻遭到本國猶太人的痛恨，因為他不但效忠其主子羅馬人，而且對本國的猶太人實行非常殘暴的統治。
希羅德死後，君主制度被廢除，巴勒斯坦成了羅馬帝國的一個行省，由羅馬總督實行直接統治。羅馬人有意識地降低耶路撒冷作為巴勒斯坦首都的地位，而將總督府設在地中海濱新建的凱撒利亞。羅馬統治者一方面以各種苛捐雜稅對猶太人橫徵暴斂，另一方面又對猶太人的宗教和文化採取歧視和壓制的政策，禁止猶太人去耶路撒冷參拜他們的聖殿。後面這項規定對於猶太人來說，尤其難以接受。羅馬人甚至還試圖把羅馬皇帝的塑像安置在聖殿中，只是在猶太人的捨命抗爭下才未敢這樣做。羅馬人的殘暴統治曾激起了猶太人的多次反抗，西元26—36年龐修斯·彼拉多任巴勒斯坦總督期間，一場由「奮銳黨」領導的暴動持續了40多天。
西元66年，羅馬總督弗洛盧斯指揮他的士兵進入猶太人的聖殿，企圖奪走聖殿中的財寶。士兵們殺死了許多前來阻止他們的猶太人。羅馬人的暴行終於激怒了猶太人，他們積聚了多年的仇恨全面爆發了，他們在各地紛紛揭竿而起，拿起武器舉行起義，反對羅馬帝國的統治。歷史上稱這次大起義為「猶太戰爭」。
猶太戰爭
猶太人的起義很快席捲了整個巴勒斯坦，許多地方的羅馬人都被殺死或趕走，建立了猶太人自己的政權機構。到後來，猶太人打擊的目標也從羅馬人擴大到其他非猶太人。羅馬當局從各地調集了數萬大軍前來鎮壓起義。強大的羅馬軍團在韋斯巴薌的指揮下，最後打到了耶路撒冷城下，把這座聖城圍困了起來。猶太起義者堅守著有三道城牆的耶路撒冷，同羅馬人開展了浴血奮戰。戰鬥斷斷續續進行了三年多，直到西元70年羅馬大軍才在狄托的統率下攻陷了耶路撒冷。當羅馬軍隊突破了耶路撒冷最後一道城牆後，猶太起義者被迫退守到聖殿中。羅馬人又用攻城的手段向聖殿發起攻擊。六天後，聖殿也被攻陷了，絕大多數起義者視死如歸。羅馬士兵衝進聖殿，進行瘋狂的殺戮，隨後又放火焚燒了這座宏偉的聖殿。
有一位名叫約瑟福斯的猶太起義軍首領在耶路撒冷城被攻破後投降了羅馬人。但他後來一直因此在良心上感到不安。為了彌補自己的貪生怕死的罪過，他寫了一部敘述猶太戰爭的書。這部書中記錄下了耶路撒冷陷落前後的慘烈場景。約瑟福斯寫道，到後來的時候，城中狹窄的街道到處都是血汙，在夏天的烈日下，尸體都發臭腐爛了。城中已沒有什麼食物了，稻草、獸皮、腐肉都被吃光了，連祭壇上的祭物都被吃掉了。但人們仍不願向羅馬人投降，因為他們深知自由的可貴。
耶路撒冷陷落後，一些猶太人繼續在各地抵抗著羅馬人。其中以在死海之濱的馬薩達要塞的抵抗的時間最長，結局也最為悲壯。
馬薩達原是希羅德王在死海南端沙漠中的一座岩石山頂上修築的一個行宮，易守難攻，地勢十分險要。耶路撒冷陷落後，一支起義的隊伍退到這裡，據守在山上的要塞中。他們靠自己種糧食，接雨水為生。羅馬軍隊在山下圍困了整整兩年，最後在西元73年靠數萬士兵背土鋪成了一條上山的道路，終於攻陷了要塞。當羅馬將軍錫爾瓦率軍進入馬薩達要塞後，發現山上的房屋和糧食全已被燒毁，要塞中只有960具男女老幼的尸體。原來，當山上的猶太人看到要塞已被羅馬人攻破，為了避免被俘受辱，決定集體自殺。但是，猶太教律法卻禁止猶太人自殺。於是，他們的首領便決定通過抽籤挑選出十個人先殺死眾人，十人中又由一人殺死其餘九人，最後這個人再自殺。
馬薩達要塞最後仍有七個人僥倖活了下來：兩名婦女和五個孩子。她們成了這一歷史悲劇的見證人。後世的考古學家們也在馬薩達發現了許多證實這些猶太英雄事蹟的遺物。後來，馬薩達成為了猶太人追求自由，寧死不屈的象徵。今天，當以色列的新兵入伍後，都要被帶到馬薩達來進行宣誓：「馬薩達將決不再陷落！」
古代巴勒斯坦猶太國家的終結
持續了七年的猶太戰爭結束了。羅馬統帥狄托押著俘獲的猶太貴族，率領他的軍隊高唱著凱旋的歌曲回到羅馬。為了紀念這次勝利，羅馬人在羅馬廣場為他修建了一座宏偉的凱旋門，上面雕刻著戰爭的場面和各種繳獲的戰利品，其中包括許多猶太聖殿中祭祀的用品。這座羅馬人慶祝勝利的凱旋門，在猶太人眼中卻是失敗和屈辱的象徵，他們至今不願意從這座凱旋門下走過。
羅馬人的武力政策並未能使巴勒斯坦的猶太人完全屈服。在西元115年和132年，巴勒斯坦的猶太人又先後兩次舉行起義。其中後一次是在大衛家族的後裔巴爾·科赫巴的領導下發動的，猶太起義者曾一度攻克了耶路撒冷城。羅馬人用了三年時間才把這次起義鎮壓下去，科赫巴也壯烈犧牲。這次起義的失敗，標誌著猶太人為恢復民族獨立和自由鬥爭的結束。羅馬人對猶太人進行了更加殘酷的報復，成千上萬的猶太人被處死，據說當時遍地都是釘著猶太人的十字架。
在前後三次起義中，有一百萬多猶太人被屠殺，另有幾十萬人被擄掠到羅馬本土充當奴隸或是被迫成了羅馬鬥獸場中的角鬥士，還有一些被強迫到埃及等地去挖礦做苦力。從此之後，猶太人口開始大量下降，從西元一世紀的約七百萬人下降為三世紀時的不足二百萬。猶太人口急劇減少的原因一方面是許多人死於戰？和屠殺，另一方面是在這種動盪和災難下，人口的出生率也急劇下降；還有一個原因就是在羅馬的高壓政策下，不少猶太人放棄了猶太教，改信了基督教或其他宗教，同化進其他民族之中去了。
羅馬皇帝哈德良認為猶太人一再鬧事，其根源便是猶太教。於是他下令禁止猶太教，廢除猶太人的安息日，嚴禁猶太人實行他們自古以來的割禮習俗，違者均予以處死。為了消除猶太人的宗教意識，他還下令把耶路撒冷城剩下建築全部摧毁，並按羅馬人的習俗用犁鏵翻耕。他還在耶路撒冷的原址上重新建起一座城市，把它稱為埃利亞·卡皮托利納，遷了一些外族人來居住。這樣，長期以來作為猶太民族和宗教中心的聖城變成了一座以外邦人為主的城市。當年宏偉壯麗的猶太聖殿也不復存在，留下來唯一的遺蹟是聖殿西面的一堵牆。聖殿雖然已被毁，但猶太人仍把這裡視為神聖的地點。每年猶太教歷的十一月九日，也就是聖殿被毁的紀念日這一天，都會有一些猶太人來到這堵大牆下，哀今思昔，撫牆痛哭。因此，這堵牆也被稱為「哭牆」。
猶太戰爭和起義失敗後，猶太人居住的大部分地區都成了廢墟和荒野，多數城鎮和村莊都被毁壞了。昔日繁榮的巴勒斯坦，現在人煙稀少，四處蕭條，滿目淒涼。至此，古代猶太國家的歷史結束了，只在北部的太巴列等地留下了一些殘存的小猶太社團。猶太民族的主體離開了巴勒斯坦，成了一個沒有國家的流散民族。