谢晋元原想退入租界后，即可由沪西方向归队，继续与日军作战。不料租界当局收缴了他们的武器，剥夺了他们的自由，才知已陷入黑暗的深渊。孤军营占地数十亩，地面坑坑洼洼，垃圾满地，住房十分简陋。营地四周高架铁网，由白俄士兵担任岗哨。谢晋元和他的部下只能在铁丝网内活动，实际上，这是一个俘虏营。
谢晋元绝不怕战场上的炮火硝烟，但是，漫长的孤营生活将是对他更加严峻的考验。真金不怕火炼。他意志坚韧，在逆境中更显英雄本色。他把孤营生活当成另一种形式的战斗，要通过自己的言行，“使友邦从我们身上看出中国军人之气概，从此认识中国的真精神。”来到孤营的第二天，他就接见了中外记者，表示“我们与倭寇誓不两立，我们存在一天，决与倭寇拼命到底。”
在艰难的孤营生活中，谢晋元严于律己。事事处处为部下作楷模。因为行动失去了自由，他便刻苦自励，手不释卷地学习，自研英、法等国文字。虽身离战场，但他仍然关切着抗战形势的发展，曾经终日绝食，用以激扬上海人民的抗战情绪。对于未来，他充满希望，坚持每天锻炼身体，养精蓄锐，以待光明来临。
谢晋元督率部下，在孤营内励精图治。他亲自订教育、体育、生产各项计划，自办孤军伙食，开办肥皂、线袜生产工场，他治军尚严，领着士兵一如往日，经常习武上操，生活得井井有条。为激发官兵的爱国热情，坚持每天都举行精神升旗典礼。他带头西向敬礼，礼毕肃立唱国歌，表现了他对中华民族的无限忠诚。