Църквата "Св. Атанас" е единствената църква разположена на десния бряг на река Тунджа с отделна камбанария, намираща се на изток от храма. 

Тази църква е изградена във вида, в който я виждаме днес през 1842 г., върху основите на по-стар храм, съществувал на това място от незнайно кога. Известно е, че при него още преди XIX в. е имало килия, в която са пребивавали светогорски монаси, работили за духовното възмогване на калоферското население. За годината на възобновяване на храма научаваме от една мраморна плоча, скрита в литаврата на един от прозорците на църквата, върху която е издълбана релефна графика и надпис: “1842 Март 25, Възстановена бе църквата и в името на нашия Светец Атанасий…”. Надписът бележи и че строител на църквата е майстор Стойо Иванов от Брацигово.

Красивият иконостас на храма е заплатен с даренията на производителите на аба, родени в Калофер и работещи в Истанбул. Струвал е приблизително 50 000 гроша и е бил пренесен до тук с волски каруци.
След Освобождението, във възстановяващия се град, който е почти напълно изпепелен от турците през 1877 г., в килиите към църквата „Св. Атанасий“ се помещава училище. Поради специалните обстоятелство, в него за първи път се обучават смесено момчета и момичета. Когато през 1880 г. е изградено новото мъжко училище на левия бряг на Тунджа, в килиите остават да се учат само момичета. С построяването на новото девическо училище през 1888 г. обучението в тези килии се прекратява напълно.
Църквата „Св. Атанасий“ е обявена за паметник на културата през 1964 година.

Днес възрожденският паметник, тясно свързан с история на Калофер и духовните въжделения на неговите жители, е недействащ. Вече няколко десетилетия вратите му са затворени за богомолци, а църковната сграда и двор тънат в запустение.