ҚазССР Ғылым академиясының 1972 жылғы 15 тамыздағы қаулысына сәйкес Тарих, археология және этнография институтының құрылымында Археология музейі ұйымдастырылды. Музей 1973 жылғы 30 тамызда алғашқы келушілерін қабылдады.

Аталған мекеме Қазақстан Компартиясы Орталық Комитетінің Бірінші хатшысы Д.А. Қонаевтың бастамасымен құрылып, республиканың археологиялық мұрасын сақтау, жүйелеу және оны ғылыми тұрғыдан зерттеу мақсатында ашылды.

Музейдің қалыптасуы мен ғылыми бағыт-бағдарының айқындалуына Қазақстан археология ғылымының көрнекті өкілдері — Ә.Х. Марғұлан, А.Н. Нүсіпбеков, Г.Ф. Дахшлейгер, К.А. Ақышев, Х.А. Алпысбаев, М.К. Қадырбаев, А.Г. Максимова, Т.Н. Сенигова, К.М. Байпақов, Б.Н. Нұрмұханбетов, З.С. Самашев, Ж.К. Құрманқұлов және басқа да ғалымдар елеулі үлес қосты. Музей тек археологиялық жәдігерлерді сақтайтын орын ретінде ғана емес, сонымен қатар іргелі ғылыми зерттеулер жүргізетін тұрақты ғылыми база ретінде қалыптасты.

Мекеменің ұйымдастырылуы мен одан әрі дамуына қор сақтаушылар, реставраторлар және өнертанушылар — В.И. Садомский, Н.И. Синенькая, Т. Молдасбанова, Р.А. Бектуреева, Б.Б. Қожахметов, Т.И. Кулик, Ж.Т. Рамазанова, А. Горбатов, К. Итенов, А.С. Ермолаева және басқалардың еңбегі зор болды.

Осы кезеңнен бастап Археология музейі республикадағы археологиялық зерттеулердің маңызды ғылыми орталығына айналды. Көпжылдық қызметі барысында ол ғылыми кадрларды даярлау мен археологиялық мұраны жүйелі түрде зерттеу ісінде жетекші рөл атқарды.

Археология музейінің экспозициялық кеңістігі келушіні Қазақстан жеріндегі адамзат тарихының ең көне кезеңдерінен бастап ортағасырлық өркениетке дейінгі ұзақ та бай жолымен жетелейді. Музей залында орналасқан тас дәуіріне арналған витринада палеолит, мезолит және неолит кезеңдеріне жататын тас құралдар, қырғыштар мен кескіштер қойылған. Бұл жәдігерлер ежелгі адамдардың күнделікті тіршілігін, табиғатпен күресін және алғашқы еңбек дағдыларының қалыптасуын көз алдыңызға әкеледі. Қарапайым ғана тас құралдардың өзінен адамзат өркениетінің бастауын сезінуге болады.

Қола дәуірі бөлімі металлургияның дамып, қоғам өмірінде үлкен өзгерістер орын алған кезеңін таныстырады. Мұнда қола қару-жарақтар, еңбек құралдары, әшекей бұйымдар мен қыш ыдыстар ұсынылған. Экспозиция сол заман адамдарының дүниетанымы мен шеберлік деңгейін айқын көрсетеді.