В начале 1740-х годов архиепископ Иннокентий (Нерунович) столкнулся с нарастающей оппозицией со стороны гражданских властей, части купечества и представителей духовенства. Его поддержка в сибирском обществе постепенно уменьшалась, в то же время росли потоки жалоб в Святейший Правительствующий Синод. Осознавая свою изолированность, он отошел от активных дел и поселился в уединенном скиту Вознесенского монастыря в Жилкино.

1 мая 1744 года епископ Иннокентий издал строгий указ, запрещающий «утруждать» его доношениями, за исключением крайне необходимых и касающихся его особы. Такое отстранение епископа в значительной степени снизило эффективность управления епархией. В ходе ревизии 1744 года было выявлено значительное количество «бесхозного люда» в монастырях епархии. В результате на нее был наложен штраф в размере 2.415 рублей.

23 января 1746 года в Иркутск поступил указ Синода, предписывающий епископу Иннокентию (Неруновичу) отправиться в Санкт-Петербург для отчета. 24 марта был получен повторный указ, но уже в более категоричной форме, угрожающей доставкой епископа в столицу «под конвоем» в случае невыполнения. 13 августа 1746 года он покинул Иркутск и направился в Санкт-Петербург.

В качестве последнего дара своей епархии епископ Иннокентий оставил 3810 рублей, накопленных из личных сбережений. Из-за болезни он вынужден был остановиться в Братской Спасской пустыни, которая стала его последним пристанищем. Прямо из пустыни он продолжал, как мог, управлять епархией. В частности, на следующий год, 14 февраля 1947 года, архиепископ Иннокентий отправил в Синод очень интересную петицию с просьбой разрешить тем ссыльным, которые были отправлены в Сибирь без жён, вернее, жёны которых отказались ехать в ссылку, вступить во второй брак. В общем, разумное решение, потому что, если так просто оставить человека, неизвестно, какую жизнь он будет проводить. Это было последнее его обращение в Синод. Последнее перед кончиной богослужение совершил 12 апреля. 26 июля 1747 года он скончался.

После кончины епископа Иннокентия Синод распорядился тело его, «убрав в особливый твердый ящик и отвсюду оной на споях утвердив, и сверх того толстым парусинным холстом тот ящик оклеив и засмолив накрепко, чтоб никакой духоты сквозь доски пройти не могло», перевезти в Иркутск и похоронить рядом с могилой святителя Иннокентия (Кульчицкого). Однако «по отдаленности и другим неудобствам», а также по завещанию самого епископа, он был похоронен не в кафедральном городе, а в часовне Братской пустыни.

Шесть лет после его смерти самая большая в России по территории Иркутская епархия, оставаясь без архиерейского окормления, управлялась консисторией. Прибывший в марте 1754 г. на Иркутскую кафедру святитель Софроний (Кристалевский) посетил могилу Иннокентия Неруновича, где горячо молился и просил у своего предшественника благословения на служение.

В начале 50-х гг. XVIII в. вместо сгоревшей часовни над могилой Иннокентия был возведен деревянный храм во имя Всемилостивого Спаса, освященный епископом Софронием. После упразднения обители в 1764 г. Спасская церковь в 1776 г. была перенесена в с. Большеокинское. «Беспокровное» захоронение Иннокентия почиталось окрестными жителями. В 1840 году купцы П. Саламатов и М. Балдаков возвели над могилой архиепископа часовню с надгробным камнем. По инициативе посетившего в 1858 г. могилу Иннокентия архиепископа Иркутского Евсевия (Орлинского) часовня была перестроена в деревянный храм (1861). Новая Спасская церковь (1905), поставленная над захоронением Иннокентия, была закрыта решением Братского райисполкома в 1934 г.

В ходе строительства Братской ГЭС могила архиерея оказалась в зоне затопления. В конце 50-х гг. XX в. архиепископ Иркутский и Читинский Вениамин (Новицкий) поручил благочинному протоиерею Николаю Пономарёву перевезти останки святителя в Иркутск; 1 октября 1960 г. они были преданы земле на общественном кладбище предместья Радищево в Иркутске. В 2001 году в день празднования Покрова Пресвятой Богородицы, архиепископом Иркутским и Ангарским Вадимом (Лазебным) останки епископа Иннокентия были торжественно перенесены в иркутский Знаменский монастырь.