绍兴三十二年正月，赵构到达建康。
    不久，他商议移驾回朝，下诏任命主和派杨存中担任江淮荆襄路宣抚使，另以虞允文为副使。
    主战派官员大失所望，对任命杨存中意见很大，赵构于是改任虞允文为川陕宣谕使。
    虞允文向赵构辞行，说：“金国完颜亮已被诛杀，新主完颜褒即位时间不长，金国国内形势一片混乱，这是上天帮助我们恢复失地的大好时机。与金和议就会打击朝野上下抗金义士的抗战热情，继续抗金就会振奋朝野上下的抗金士气。”
    赵构认为他说得很有道理，不过，就是认为而已。
    虞允文到达四川后，与大将们共商赶走金军恢复中原大计。
    金人增派大批援军争夺南宋收复的大片土地，四川士人打算放弃这些州郡，虞允文坚持不能放弃。
    双方就这样僵持着。
    一直到宋孝宗赵昚即位后，朝中大臣有谈论西部战事的，认为宋军讨伐金人，东部不能超过宝鸡，北部不能超过德顺，并打算任用忠义之士守卫新收复的州郡，官军退守四川。
    虞允文听了据理力争，没有取得结果，于是退兵河池。
    参知政事史浩等人主张议和，打算放弃陕西，台谏袁季、任古也附和他的意见。
    虞允文再上奏疏，大概内容是：“恢复国土没有比首先恢复陕西更重要的了，陕西同新近收复州县的安危与德顺之存亡息息相关，德顺一旦放弃，进攻四川的路线就增加许多，西河州、阶州、成州，其地理位置事关重大。”
    虞允文先后上奏疏十五次，又写信给陈康伯，陈康伯虽与他同属主战派，却也没有回天之力。
    赵昚准备召请虞允文询问陕西方面的战况，参知政事史浩等人不愿意让他来，于是虞允文以显谟阁学士身份任夔州知州，不久皇上又命他上疏奏事。
    隆兴元年，公元1163年，虞允文入宫回答皇上的提问，史浩一向主张弃地求和，等到升为右相后，立即实现他的主和政策，还亲自为赵昚拟定诏书，其中有这样的词句：“丢弃鸡肋一类没有多大意味的东西，可以消除金人的贪婪之心。”
    虞允文入宫上奏说：“现在有八条理由说明我们可以继续对金作战。”
    赵昚问到弃地问题时，虞允文用朝见时所执的手板在地上画，力陈丧失土地的利害。
    赵昚听了，叹息说：“这是史浩使我受害。”
    虞允文又以敷文阁待制身份任太平州知州，不久又升任兵部尚书、湖北京西宣抚使，又改任制置使。
    这时，南宋朝廷派遣卢仲贤出使金国商谈和议条件，宰相汤思退又打算放弃唐、邓、海、泗四州，赵昚亲自拟旨以唐、邓二州不是战略要地为由，下令可能考虑放弃，虞允文五次上奏疏据理力争。
    汤思退大怒，于是上奏说：“这都是因为和议的利害关系与虞允文没有太大影响，故他大谈误国，以此博取主战派的美名。事关国家安危的大事，岂能像演戏一样。”
    赵昚决定向主和派屈服。
    汤思退表面上请求皇上召用虞允文，实际上是想去之而后快。
    虞允文交上官印，仍然请求不要割让四州领土，请求辞职退休。
    赵昚下诏令虞允文以显谟阁学士身份任平江府知州。
    汤思退最终决定与金议和，将唐、邓二州割让金国。
    隆兴二年，公元1164年，金兵再次入侵南宋。
    赵昚这才知道，不击败金人，他们只会贪婪不已，当下将汤思退等人罢官，后悔没有听从虞允文的建议。
    陈俊卿举荐虞允文，认为他可堪重任。赵昚当下升任虞允文为端明殿学士、同签书枢密院事。
    乾道元年，公元1165年，虞允文任参知政事兼知枢密院事。
    这年秋天，金国派遣使者完颜仲前来谈判，金使傲慢无理，目中无人，虞允文请求杀死完颜仲，因朝臣中有不同意见而没有行动。正碰上钱端礼接受李宏玉带一事曝光，这件事牵连了虞允文，被御史章服攻讦而定罪，罢去官职，西归故乡主管宫观。
    乾道三年，公元1167年二月，虞允文又被召回朝廷，再次担任知枢密院事兼参知政事。
    不久，吴王逝世，朝廷讨论由谁接任他的职务，赵昚对虞允文说：“吴王已经去世，汪应辰恐怕不熟悉军事，这个重任只能交给你了。以后凡事不要效法张浚的迂腐固执，军中各种事情，你应该一一亲临观察指导。”
    赵昚任命虞允文为资政殿大学士、四川宣抚使，不久又下诏令虞允文继续担任知枢密院事。
    虞允文回到四川仅一个月，又被召到朝廷，几个月后又去四川。
    太上皇宋高宗赵构赏赐虞允文御书《圣主得贤臣颂》，赵昚亲自写跋，虞允文向皇上辞行，赵昚又将自己的一双鞋和甲胄赏赐给他。
    虞允文经过郢州时，上奏疏建议修筑黄鹰山城。经过襄阳时，上奏疏建议修筑府城。八月到达汉中，又前往沔阳。九月抵达益昌。离开朝廷前孝宗下手诏要求他重视九件事，一路颠簸到达四川后，虞允文全部按皇上的指示行动，尤其将军政要事放在首位。又上奏疏报告检阅了各支部队实力后，准备按照士兵们体力强壮虚弱的次序将他们分为三部分，上等兵用以作战，中下等兵用以准备军用器械、粮草、服装等行军物质，老弱病残士兵一律辞退。此次行动共裁减士兵一万人，为国家节约军费开支四百万。对于被裁减的士兵中一些立有战功、做出了成绩的人，将他们安置在空缺位子上。兴州、洋州地区的抗金义士，都是一些民兵组织，绍兴初年大约有七万余人，大散关战役中，统帅不发给他们盔甲，却让他们在官军前面冲锋，使他们几乎全军覆灭。虞允文命令利州元帅晁公武经过仔细查对后，共得士兵二万三千九百余人。又得到陕西地区先进的弓箭制造及使用技术，参照绍兴时技术编成一本书，让将士们随身携带。虞允文又将马政交给张松，奏请依历代旧制将茶马分为川、秦司。