Родился в 1920 году в Иваново-Воскресенске. С началом Великой Отечественной войны студентом выпускного курса ушёл добровольцем в части морской пехоты. Окончил Ленинградский политехнический институт с отличием уже во время войны, получив краткосрочный отпуск для сдачи экзаменов и защиты диплома. Демобилизовавшись из армии, сдал вступительные экзамены в аспирантуру Физического института им. Лебедева в Москве.

После окончания аспирантуры участвовал в первых в СССР работах по созданию полупроводникового транзистора. Именно такие транзисторы позволили прийти к выпуску доступной и компактной бытовой техники. Тысячи полупроводниковых транзисторов с помощью современных технологий можно уместить на одной пластинке — именно на этом построена интегральная схемотехника. Через почти 15 лет по приглашению академика М. А. Лаврентьева переехал в новосибирский Академгородок, где организовал Институт физики твердого тела и полупроводниковой электроники. В НГУ не только преподавал, но и организовал кафедру физики полупроводников.

Основные труды составляют исследования по физике диэлектриков и полупроводников, и полупроводниковой электронике. Открыл и исследовал пьезоэффект (эффект возникновения поляризации диэлектрика под действием механических напряжений). Это дало возможность двигать изучаемые образцы/часть диагностической аппаратуры (например, иглу для атомного микроскопа) на такие маленькие расстояния, как нанометры. Такая точность необходима в настройке, к примеру, атомных микроскопов или монохроматоров.

Изучал процессы объёмной и поверхностной рекомбинаций в полупроводниках, происхождение и свойства поверхностных электронных состояний. Эти исследования позволили понять, как бороться с падением качественных характеристик полупроводников (например, способностью проводить ток).

Им были начаты исследования в области поверхности полупроводников — в результате была решена проблема стабильности характеристик полупроводниковых приборов. По поручению правительства под его руководством был создан институт по исследованию полупроводников и полупроводниковых приборов в Новосибирске (ИФП СО РАН).

По его инициативе ИФП стал лидером в разработке установок и методов молекулярной эпитаксии (метод борьбы с влиянием поверхностных электронных состояний). Для обеспечения этих исследований был спроектирован и построен специальный термостатированный корпус совершенно оригинальной конструкции.

По инициативе Ржанова в институте были начаты и исследования по разработке элементов памяти фотоприемникам. Это стало основанием для качественного скачка в фотографии.

Анатолий Васильевич — автор более 2000 научных работ по проблемам физики поверхности полупроводников и физических основ микроэлектроники. Многие из его коллег и учеников отмечают, что большинство сегодняшних успехов Института физики полупроводников получены в результате усилий научной школы Ржанова.