В комплексе зданий монастыря существовало еще одно небольшое и малоприметное, но носившее мемориальный характер. Это «домик Петра I».

Домик располагался южнее Успенского собора и напротив древней колокольни. В нем, по монастырской истории, останавливался во время пребывания в Свенске Петр I. Домик был одноэтажный, каменный и представлял собой обычную келью с внутренними размерами 3,73 м. ширины, 5,86 м. длины и 2,5 м. высоты. Он состоял из единственной комнаты с тремя небольшими окнами и сеней с двумя окнами, из которых одно заделано.

В памятной монастырской записи говорилось:

«Император Петр I изволил пребывать многие месяцы в оном монастыре; почему нарочно для пребывания Его была устроена особая каменная келия, в коей на одной стороне поставлен был иконостас со святыми образами. Во время же сего Государя пребывания дано знать, что Гетьман Мазепа изменил. Посему изволил он, Государь, отправиться к Полтаве; и получа над врагами победу, обратно заезжал и служил молебен».

Архитектурным украшением сводчатой комнаты домика была кафельная печь из поливных узорчатых изразцов семи видов рисунка. Точно такие изразцы можно увидеть на печи «Домика Петра I» в музее – заповеднике русской архитектуры  «Коломенское» в Москве. Этот деревянный домик перевезен в заповедник с острова Маркова в устье Северной Двины, где он был построен в 1702 году, против Новодвинской крепости.

Два деревянных стула из Свенского домика сохранились и находятся в Брянском краеведческом музее.

Кроме иконостаса, стены комнаты были украшены двумя портретами. На одном из них, сильно потемневшем от времени и сырости, изображен во весь рост Петр I; на втором, величиною около 70 см, императрица Елизавета Петровна. Иконостас и портреты утрачены.

Снаружи домик был оштукатурен, покрыт железной четырехскатной крышей, завершенной расписанной кирпичной дымовой трубой. Под карнизом северного фасада, во всю его ширину размещалась надпись: «Въ семь домике неоднократно пребывалъ Преобразователь Россiи». Ниже надписи был прибит старый императорский герб.

Домик Петра I был разрушен, как и все сооружения монастыря. В ходе масштабной реконструкции он был восстановлен несколько в искаженном виде.