Поселок Пятирыжский был основан в 1720 году как форпост на Иртышской укрепленной линии экспедицией И. М. Лихарева. По другим данным, Пятирыжский основан в 1745 году, когда командующим Сибирской пограничной линией генерал-майором Х. Х. Киндерманом для усиления Иртышской линии было определено построить несколько редутов, маяков, форпостов и станций между существующими крепостями. Среди прочих при урочище Пятый Рыжко тогда было определено построить почтовый двор, редут и маяк. После упразднения форпоста в XIX веке поселок назывался Пяторыжск или Пяторыжский и до 1928 года входил в Иртышскую волость Павлодарского уезда, затем в состав Иртышского, а с 1936 года Урлютюбского (ныне Железинского) районов.
Согласно «Летописи Железинской Троицкой церкви», в поселке Пятирыжском, который был приписным к Железинской церкви, в XVIII веке была построена деревянная часовня в честь святых апостолов Петра и Павла, принадлежавшая одному из полков Сибирской военной экспедиции: «…О времени же построения, за неимением ни письменных, ни словесных данных, сказать ничего нельзя. Судя же по находящейся в ней иконе Апостолов Петра и Павла, на окладе которой высечен 1799 год, надобно заключать, что часовня эта была построена в прошлом столетии, а сама икона принадлежала полку, так как на окладе ее вычеканен Св. Георгий Победоносец, а известно, что как на иконах, так и на св. крестах у полков всегда изображался Георгий Победоносец, на иконах сбоку, а крест – внизу».
15 ноября 1885 года военный губернатор Семипалатинской области сообщал исправляющему должность Степного генерал-губернатора: «в поселке Пяторыжском Железинской станицы Павлодарского уезда с разрешения епархиального начальства производится постройка церкви во имя апостолов Петра и Павла, но еще вполне не окончена».
29 мая 1886 года военный губернатор Семипалатинской области сообщал исправляющему должность Степного генерал-губернатора, что во второй половине 1885 года «в поселке Пяторыжском Железинской станицы Павлодарского уезда окончена постройкой церковь во имя Апостолов Петра и Павла, куплено три колокола и разная церковная утварь, всего израсходовано 3820 рублей из общественных поселковых сумм».
3 февраля 1887 года военный губернатор Семипалатинской области сообщал Степному генерал-губернатору Г. А. Колпаковскому, что во второй половине 1886 года «в поселке Пяторыжском, в церкви св. Апостолов Петра и Павла снаружи крыша покрыта листовым железом вместо тесовой, окрашено снаружи внутри масляной краской и поставлены кресты, на это из общественных доходов и пожертвований употреблено 391 руб. 30 коп.».