Мужской Житенный монастырь получил свое название благодаря одному из островов озера Селигер. С древних времен на этом острове находились житницы, куда управление Патриаршего двора ссыпало хлебные запасы, собиравшиеся с жителей города Кличей, который располагался поблизости, на острове Кличен, третьем по величине острове озера Селигер. Весь остров Житное имеет площадь не более четырех десятин, т.е. примерно около четырех гектар. Как гласят предания, кличенцы в XIV веке основали селение на полуострове, где сейчас находится город Осташков*. На острове Житном уже тогда была построена первая церковь. Однако после литовского разорения, пришедшегося па XIV-XV 1века, эта церковь была сожжена, и только место, где она (стояла, оставалось в памяти осташковских жителей и слыло под названием «Старого церковища» .В XV веке Осташков уже был обнесен земляным валом и деревянными стенами, что по древнему обыкновению давало ему право называться городом. Однако эта первая крепость была разрушена во время польско-литовского нашествия в начале XVII века. Н1626 году построили новую, но и она простояла недолго. В 1651 году царем Алексеем Михайловичем было дано распоряжение построить третью по счету крепость, но в 1676 она подверглась пожару. Последняя была восстановлена по просьбе жителей города через два года. Она просуществовала до 1711 года, после очередного пожара ее больше не возобновляли.
Крепость имела четверо ворот, трое из которых выходили на озеро, а одни вели в город «по сухому пути». Этот проезд находился с: южной стороны Осташкова и назывался Главным. На стенах крепости стояло 16 башен, каждая из которых имела свое имя. Были башни, названные в честь горожан, фамилии которых чаще всего встречаются в старых документах (Грачева, Галанина, Быкова, Тюлева и других), указывающие основные направления (Селижаровская и Псковитинова), но самой главной, основной была Большая городская башня, через которую проходила «проезжая дорога». На этой башне находилась особо чтимая Смоленская икона Божьей Матери Одигитрия, которая благодатно покровительствовала городу, особенно в бедственные времена. Эта икона считалась небесной покровительницей Осташкова. После пожара в крепости в 1711 году, истребившего все сооружение, икону нашли в пепле абсолютно невредимой, и лишь незначительные ожоги напоминали о произошедшем. Осташковцы очень дорожили своей святыней, и для нее было решено построить часовню на Главной улице, близ того места, где она находилась прежде.
В начале XVIII столетия город Осташков состоял из двух слобод: слободы Патриаршей, в которой жили крестьяне, находившиеся в вотчинном управлении Патриарха Московского и всея Руси, и слободы Иосифовской, в которой жили вотчинные крестьяне Волоколамского Иосифова монастыря. Для того, чтобы добиться разрешения на строительство часовни, жители двух слобод отправили в Благочиние патриарших церковных дел своих доверенных представителей Василия Архипова Стебакова и Феодора Шмикена. 25 октября 1715 года был издан указ о возведении деревянной часовни. Однако в 1716 году, когда часовня уже строилась, у жителей Осташкова появилась идея построить для иконы церковь, тем более что особых затрат на это не требовалось, нужно было просто сделать небольшие надстройки. Месторасположение церкви было определено на Житном острове, где когда-то уже стояла небольшая церквушка
Итак, посоветовавшись между собой, горожане подали в Патриарший казенный приказ челобитную о разрешении поставить II.I острове Житном церковь в честь Смоленской иконы Богоматери. Дело это было непростым, так как в России с 1716 года запрещалось строительство церквей «сверх потребы». А в Осташкове уже было два больших собора, построенных в конце XVII века, — Воскресенская церковь Знаменского монастыря и Троицкая церковь. Но, вероятно, крестьяне Патриаршей слободы, проживающие рядом с Казенным приказом, могли знать туда «доступы», что естественным образом облегчало их задачу.
Это задание было поручено крестьянину Иосифовской слободы Фоме Афанасьеву Макарову, который имел дом близ строившейся часовни. Ему вызвался помогать вдовый священник осташковской Воскресенской церкви Леонтий Иванов. С 1503 года и вплоть до царствования Екатерины II вдовым священникам запрещалось священнодействовать, и Леонтий Иванов искренне надеялся, что после возведения церкви на острове со временем появится и монастырь, где, приняв пострижение, в новом сане иеромонаха, он сможет вернуться к прежним обязанностям служителя церкви. 19 марта 1716 года управитель Духовных дел Ржевского уезда, селижаровский игумен Иоаким прислал в Осташков на имя старосты осташковского Троицкого собора Климента Мокиева «Указную память», в которой, согласно прошению жителей города, разрешалось «строившуюся в Осташкове, на Главной улице, в честь иконы Пресвятой Богородицы Одигитрия, часовню перенести на Житный остров, поставить ее там на старом церковном месте, или церковище, прирубить к ней с восточной стороны алтарь, с западной трапезу и сделать верх, как и у прочих церквей, и по построении внести в нее упомянутую икону».
Благодаря усердным стараниям жителей Осташкова церковь быстро строилась и благоустраивалась. Когда, наконец, она была готова, священник Леонтий построил себе близ нее келью и стал там проживать. Постепенно к новому храму стали приходить монахи из разных монастырей, которые, как и Леонтий, селились рядом и вели церковную службу. Эти поселения и положили начало мужской обители на Житном острове озера Селигер.
* Первое документальное упоминание об Осташкове относится к 1371 году. Это грамота литовского князя Ольгерда патриарху Константинопольскому Филофею, в которой упоминаются верхневолжские города и среди них — укрепленный городок-крепость Кличен. Жители Кличена после разорения новгородцами в 1393 году перешли на соседний полуостров и положили начало городу Осташкову.