О коло Лицея находится Знаменская церковь - первое каменное здание города, построенное в 1734-1747 гг. по проекту архитектора И.Я.Бланка. Церковь получила название в честь иконы Знамения, которой, по преданию, умирающий Петр I благословил свою дочь Елизавету. Здание церкви, прямоугольное в плане, с тремя апсидами, завершено куполом с маленькой главкой. Над кровлей с западной стороны возвышается колокольня, увенчанная узким четырехгранным шпилем. Значительный художественный интерес представляют интерьеры церкви, в особенности, иконостасы главного и боковых приделов.