清光绪26年(1900年)张作霖率领的保险队受到土匪金寿山的进攻，幸汤玉麟率部解救才使张作霖免于此难，张作霖感激汤玉麟救命之恩与其结为金兰之交的兄弟，因汤玉麟年长张作霖四岁，为此张作霖奉汤玉麟为义兄。同年秋张作霖礼聘汤玉麟至中安堡镇结盟，他们以此为中心负责保卫附近的27个自然村，张作霖仰仗汤玉麟的扶植势力逐步扩大，因此汤玉麟成为张作霖成立奉系的起家勋臣之一。

同年夏历腊月三十的夜晚金寿山为报私仇会同沙俄骑兵中队偷袭了中安堡打了守军一个措手不及，张作霖和汤玉麟杀出包围身边仅剩下十余个亲兵，于是二人带领余部投奔八角台商务团练张景惠。张景惠非常欣赏汤玉麟的组织能力，于是让他帮助训练团丁，并令他带队剿匪。

清光绪28年(1902年)张作相也来入伙，商务团不断扩大团丁发展到450余人，并消灭了巨匪项昭子。为了名正言顺的发展实力，汤玉麟随张景惠、张作霖接受清朝政府的招安，奉天将军将商务团改编为奉天前路巡防营，张作霖任管带，汤玉麟也由此摇身一变成了清政府的下级军官左哨哨官。