Расположенная на левом берегу реки Гуручай, Азыхская пещера, на высоте 900 метров находится над уровнем моря, ее с юга и севера окружает густой лес. в Азыхской пещере первобытный человек поселился приблизительно 400 тысяч лет тому назад. В пещере во время многолетних исследований также были первобытные орудия труда обнаружены. В Азыхской пещере кроме них, обнаружены были кости доисторических животных — саблезубых тигров, пещерных медведей и др. В пещере также обнаружены очаги, которые свидетельствуют о том, что люди в эпоху каменного века пользовались огнем. И на наскальных рисунках можно найти свидетельство поклонения огню.

В течение 20 лет во время раскопок в зоне входа в пещеру Азых вскрыты 10 слоев разновременных древнего палеолита, 14 метров достигает общая толщина которых. В этих слоях последовательно зафиксированы все периоды древнего палеолита. Вмещают самые нижние слои пещеры Азых примитивные каменные орудия галечной культуры и обладают своей типологической особенностью, что основание дало под названием “гуручайской культуры” выделить их.

Неизвестная до сих пор, новая культура в Азербайджане, напоминающая галечную культуру олдувайского типа, под шестым слоем пещеры обнаружена, его возраст 1,8 млн лет. Здесь отмечены бесчисленные грубые рубящие орудия: грубые скребла, протогопперы, отщепы с ударными площадками, скребки из отщепов и так далее.

По диапазону хронологическому культурных слоев, которые охватывают большую часть первобытной истории человечества, эта пещера пока является единственной в мире.

В середине 19-го века, выход естественного газа, в связи с движением земной поверхности, в этом месте прекратился. Паломники это восприняли как наказание богов и разъезжаться стали. Как  место поклонения, Атешгях, до 1880 года просуществовал.

Но сегодня Храм для посещения открыт вновь.