Đặc biệt, tại bãi đá Trầm Tích bên sông Bằng Giang, các nhà khảo cổ đã tìm thấy nhiều công cụ lao động bằng đá của người tiền sử được chế tác bằng kỹ thuật gò đẽo thô sơ.
Dựa vào kiểu dáng và kỹ thuật chế tác, các chuyên gia cho biết, các công cụ này thuộc thời đại đồ đá cũ cách đây khoảng 20.000 năm. Điều này chứng minh, Cao Bằng là một vùng đất cổ đã sớm có người nguyên thuỷ sinh sống bằng phương thức săn bắt hái lượm trên các thềm đất cao dọc theo sông Bằng Giang.
Đoàn khảo sát cũng đã tiến hành khai quật sơ bộ một số địa điểm xung quanh thành Bản Phủ mà theo truyền thuyết, đây là kinh đô của nước Nam Cương thời Thục phán. Đến thế kỷ 17 là kinh thành của Vương triều nhà Mạc tồn tại ngót 80 năm.
Các điểm khai quật đều phát hiện nhiều chứng tích của thành cổ, chủ yếu là vật liệu xây dựng có từ thời nhà Lê. Việc phát hiện các công cụ bằng đồ đá cũ đã góp phần đem lại những nhận thức mới về nguồn gốc và nơi cư trú của nguời nguyên thuỷ ở Cao Bằng nói riêng và ở Việt Nam nói chung.