抗日战争结束后，国民政府于1946年5月还都南京，吴石也随国民政府回到阔别9年多的金陵。在胡雄的帮忙下，吴石一家租住位于国民政府外交部旁的湖北路翠琅村一号连排小院落，与胡雄一家共住一处，房租大约耗费他薪水的一半。回到南京，对于吴石来说，从前那个熟悉的南京已不再存在，生活、工作甚至心情都在重新开始。
还都以后，百废待兴，他面临着新的使命。军事机构改组工作即行展开，由蒋介石指定国防部长陈诚为改组委员会主任委员，林蔚文、刘裴、刘任夫、袁守谦为副主任委员、钱企农等15人为委员。吴石作为秘书组组长，负责指导业务及拟订计划，历时六月，改组工作粗告完成。同时期，吴石还参与编印《剿匪手令本》，在国民政府军令部战史会档案中可看到吴石8月31日的呈文：
查剿匪手本前于本（八）月十二日以钧座名义签呈主席亲核，顷奉主席未皓已府军仁宗代电批示准照办，但不必所印年月日，等因奉此，兹送请第二厅印刷所估价代印五万册（册之大小拟作六十四开本，封底面用红色），俾便分发排以上各级部队长研读，可否之处，敬祈鉴核示遵。谨呈次长刘、总长陈。
附呈主席未皓代电一件，剿匪手本（修正本）一册。①
多少年后这位出谋剿匪者竟为他的“敌人”工作，难怪知道吴石的国民党政要们后来感到惊讶和不理解。吴石人生的转变并不是突然的，而是始于抗战期间，发展于史料局（1948年5月改为国防部史政局）局长的任上。
1946年春夏之交的一天，吴石突然接到蒋介石侍从室的电话：“速来此，蒋委员长有要事面谈。”吴石立即赶往总统府。蒋介石正站在军事地图前察看，见吴石报告进来，便示意他坐下，蒋对吴说：“这次让你来，是要调你到国防部任史料局局长。史料局工作很重要。国民革命军八年抗战的历史和丰富经验，就要靠你这个部门来编写，总结战例、战史，以利发扬传统。”
“感谢委员长栽培!”
史料局局长在民国政府中算一个不起眼的职务。即使如此，对于酷爱军事研究的他来说，起初还认为颇为适合自己的职位。一开始，他很想干好工作。在他看来，史料局工作还是件蛮好的事，正好能发挥自己的特长，一边编写战例、战史，总结经验，一边向总部提点具有战略性的建议。为此，他投入满腔的热情。这一点从他给好友、同乡学者魏应麒先生的信中是可以看出的。信是这样说的：
瑞甫吾兄惠鉴：
手翰敬悉。前此得大函并惠寄西宁照片，均已收到。即经奉复，至今未达，为念。
局中有简单宿舍，足下来京不虞无下榻处，兹有一事着就正吾兄者，弟居恒研究中国古代立国之本，要以文武合一精神为首要。如戎政与文治并重，文武官不分，兵农不分，即子弟之六艺教育，亦文武参半。礼之要为文，乐射御为武，（乐常以武和，故可谓武）夏商周之盛治，实源于文武之途不分。而宋季之亡，坐于重文贱武不为过。吾以是窃立一原则：文武并重者强，重武轻文者乱，重文轻武者亡。不识尊意如何？如荷首肯，烦代考证史实，敷陈成篇，或编为小册，以资提倡其理。我国自古之国防政策，在以德服人，至不得已，始言用兵。《易经》云：师克，注师兵众也，下坎上坤，伏至险于大顺，藏不测于至静之中。师之为用，唯守一克其众齐，义在世界大同。须求小康，世界大同致和平，根于伦理。与前国联、今之联合国，徒期以约法致和者，相去不可以道里计。小康则尚德修好，虽有武备，纯为御侮禁暴之用，稽古经典不外此理，史乘不出此事实，亦恳详加引证成篇寄下为幸！②
瑞甫，为魏应麒的字，解放后为福州大学教授。信中的字里行间可以看出，魏应麒与吴石友谊的深厚。在信中，吴石告诉魏应麒已为他准备住处，不必考虑住的问题，诚挚邀请到史料局一同工作，“代考证史实，敷陈成篇”，共修战事。好友的盛情让魏应麒心动，很快去史政局报到。吴石致魏应麒信，尽管历尽战火、“文革”，魏应麒始终珍藏。
此后几年下来，史政局先后组织编写“战史丛刊”，颇有成果。吴石还为《抗战军人忠烈录》、《日军登陆作战》等战史书籍题写了书名。
这个位置似乎对他的命运有了暗示。有种种迹象表明，郁闷总对这位表面风光的将军如影随形。
随着时间的流逝，他发现这里并非像他当初所想的那样，为官环境险恶，陈诚③把权都抓在手里，拨来的经费在国防部里就砍了一半。国防部的其他厅局有钱、有势、有权，他感到史料局比其他厅、局好像矮了半截。特别是看到上层拉帮结派，官场钩心斗角，犹如一盆凉水从天而降，不仅浇灭吴石心中成就战史的熊熊烈焰，而且极大地刺伤他那颗正直、孤傲的心。他的思想处于波动之中，面对残酷的现实，备感无奈。这时，吴石想独善其身，的确太难了。
这时的吴石在军界荣膺陆军中将多年，是颇有名气的人物。作为一名职业军人，吴石前后在直系、桂系、蒋系军中供职，他以自己的智识奠定了在军中的口碑，不知有多少人暗中称慕。一位叫吴大任的高级军官在《我对吴石早年的印象》中写道：“我在花溪工作4年半（'花溪'系1939年国民政府军事委员会委员长侍从室成立第三处之代名），所属单位是通讯组……通讯内容包括工作概况、地方党政动态、社会分析、自我检讨、读书心得与建议事项等。其中优秀之通讯，事关治平大计与政经兴革，而有卓越见识之建议，每周必汇呈委座（指蒋介石委员长）亲自核阅。其中使我印象最深者为某集团军少将总参议吴石的通讯。他有关《共党阴谋叛乱及其对策》的研究报告，极其精湛。该文洞烛先机，见解深刻，不独文情并茂，亦且有胆有识。我当时经办此稿时惊由前所未曾有。于是签注'拟汇呈委座'字样，经主任（陈果夫）批示'可专呈'，于是将原稿一字不改的项目呈阅。嗣经委座亲批‘继续研究'，继又批‘嘉勉'两字。此文我曾录一副本，以为参考。自此在我心目中的吴石是一位忧国志士与锦绣才人，使我对吴君的印象，经久不能去怀。后来胜利还乡，我当选东北区立法委员，于民国37年（1948）4月赴南京开会，偶然在乡长王润生先生府上碰见老友王醒魂。醒魂陪着一健壮的中年人坐在王府客厅，这便是我意念中的忧国之士、现任史政局局长吴石将军。我乍闻吴君之名，立即呈现惊喜之神色，当及询问对方是否为在几年前曾与‘侍三处'通讯提出‘灭共'建议的吴石？对方连称是后，我立即伸出友谊之手，诚恳的表示曾奉命复函嘉勉，并倾吐个人仰慕之忱！”
居住在歌舞升平的都城，目睹国民党政府腐败无能，独裁专政，他为之奋斗、为之而捍卫的国民政府在他的心中轰然倒塌，他失去了精神支柱，对国家、民族和命运充满着担忧。他经常以宴会名义，邀请知心朋友刘斐、何遂、刘通、王宜汉④等多人聚在一起，商讨国事。当时，何遂为国民政府立法院军事委员会委员长，刘通为国民政府立法院立法委员，王宜汉为国民政府立法院立法委员，这三人与吴石一起被看成军政界福建籍“四大台柱”。他们不仅关心着福建，更关心中国何去何从？