Евреи находились в вавилонском плену 70 лет. В 541 году до Р. Х. с разрешения персидского царя Кира, покорившего Вавилонию, в Иерусалим начали возвращаться первые переселенцы. Вскоре Зоровавелем был заложен Второй Иерусалимский храм, который был закончен к  515 году до Р. Х.

Второй храм не был столь внушителен и великолепен, как первый. В нем уже не было ковчега завета: по преданию, он был увезен в Вавилон после разрушения Храма, а на его месте находилась лишь мраморная плита. Второй храм был вдвое ниже первого, всего 60 локтей в высоту, то есть высотой с 10-этажное здание.

Незадолго до Рождества Иисуса Христа царь Ирод перестроил Храм. Во время Иудейской войны (66 — 73 гг.) Второй Иерусалимский храм был разрушен – в 70-м году, 10 августа, в тот же самый день, что и Храм Соломона. Он горел в течение 10 дней, а к сентябрю весь Иерусалим был превращен в руины. Было пленено почти 100 000 жителей, а погибших от меча, голода и  плененных за время войны, по свидетельству Иосифа Флавия, насчитывалось около 1 миллиона 100 тысяч. От Храма осталась только Стена плача Стена плача, которая сохранилась до наших дней.