Simone就任抗日义勇军总指挥
1932年初，关玉衡为了实现自己抗击日寇的宏愿，化名国尔家，从北平到上海参加了东北义勇军后援会，任委员，负责辽北蒙边抗日义勇军的后援工作。6月，改名郭尔佳，化装到哲里木盟开鲁县，同辽北蒙边宣抚专员高文彬共同努力，先后建立开鲁后援会和辽北蒙边抗日义勇军。关玉衡任右路军指挥，高文彬任义勇军第五军司令。
右路军约1500人，系由原热河省保安队和蒙旗保安队组成。部队缺乏正规训练，装备差，枪械、弹药、马匹、军粮严重不足，官兵们每日仅靠煮几穗青苞米充饥，体质弱，战斗力不强。关玉衡立即向上海后援会总部求援，很快使全体官兵脱掉破旧的棉袄、皮袄，换上崭新的单军装和草帽。随后，关玉衡着手整顿部队投入训练，但很快被日军发现，连续派飞机对部队驻地狂轰滥炸，甚至施放鼠疫毒菌，致使开鲁县城鼠疫蔓延，每天有数十人死亡，部队亦有减员。面对贫困和死亡的威胁，有人退缩了，开了小差。关玉衡坚持与官兵们同甘共苦，照常操练，稳定了官兵的情绪，待机打击日寇。
8月，后援会决定攻打通辽，由关玉衡、高文彬指挥。31日凌晨3时30分，义勇军发起总攻。高文彬率800余人从城西门诱敌深入，进行袭击；辽北蒙边第一路骑兵司令李海山率部由北门向南门进攻；第二路司令刘震玉等率部从东门进攻。义勇军官兵奋不顾身，英勇冲杀，激战至下午3时许，营长谢国忱率大刀队200余勇士，冒着敌人猛烈的炮火，搭起人梯翻墙而入，纷纷挥刀向日寇猛砍狠杀，砍死日军60余人，大刀队员伤亡8人。激战至晚9时许，日军调来伪军2000人增援。义勇军遂决定停止攻城，撤回余粮堡。是役，共毙敌170余名，缴获枪支200余支。
10月4日凌晨4时，义勇军李海山、刘震玉率部兵分两路，再次向通辽发起攻击，与日伪军激战一昼夜，击毙日军大佐1名、士兵30余人，于翌日5时许攻占通辽小街基。是夜，在日军的反扑下，小街基失守，义勇军撤出通辽。
10月6日，关玉衡紧急筹集子弹5万发送到李海山、刘震玉所属部队。是日晚10时，义勇军向通辽发起第三次攻击。此时，守城日军调集坦克、装甲车和重兵扼守城内各主要路口，戒备森严，阻击火力猛烈。义勇军没有重武器，只能用步枪、手榴弹向敌人进攻，击毙日军70余人、伪军90余人。激战至翌日凌晨4时许，义勇军主动撤出战斗。
早在义勇军第一次攻打通辽后不久(9月5日)，关玉衡就在余粮堡召开纤宴军事会议，决定攻打辽源(郑家屯)。10月26日，辽源守城伪军田兴涛、于海川秘密派特使面见关玉衡、高文彬表示：“且情愿作内应，并作各巷口引导。”关、高遂决定于27日凌晨2时许，向盘踞城内的日军发起攻击。高文彬率部从西南攻人城内，直至柴市，被日军设置的铁丝网工事和猛烈的火力所阻；李海山率部由城南沿铁路向城内进攻；刘震玉率部由城西进攻；白梦梅率直属独立支队进攻火车站，烧掉一座库房；城内伪军即举兵策应。日军顿时大乱，窜入各炮楼顽抗，双方激战，火力异常猛烈。至下午1时，日伪军1500余人赶来增援，从南、北两面用炮火向义勇军猛烈轰击。随后，日军又出动飞机20余架飞临义勇军阵地上空轰炸、扫射，义勇军伤亡 很大。血战至下午4时，日军以南北夹击之势，企图围歼义勇军。为避免 遭受更大的伤亡，关玉衡果断地命令部队撤出战斗，率队进入康平县，受到当地群众的热烈欢迎。是役，毙敌340余名。
辽北蒙边抗日义勇军夜袭通辽、辽源，重创日军，震惊敌伪，吉热辽边人民群众受到很大鼓舞。北平后援会送来4万元慰问费，补给部队制做冬 装，同时决定任关玉衡为辽北蒙边抗日义勇军左、右路军总指挥。翌年1月，关玉衡指挥义勇军2000余人，乘夜幕突然包围巴拉沈营子日军营地，随后发起突然袭击，以优势兵力打了个漂亮的歼灭战，全歼日军70余人，缴获大卡车1辆、枪支60多支。
1933年2月21日，日军以通辽、绥中为基地，分三路进犯热河，北侵开鲁，南攻凌源，中犯朝阳。2月末，开鲁、赤峰等地相继沦陷；3月4日，省会 承敬竖答亮慧德失守，热河抗战失败。
蒋介石坚持“攘外必先安内”的反动政策，在《何梅协定》签定后，为取悦日本侵略者，下令解散东北抗日义勇军。关玉衡部撤至古北口时，被国民党军刘汝明部缴械后遣散。关玉衡怀着极其悲愤的心情只身回到北平。
国民党对他欲加之罪。
抗日之志难酬
关玉衡回到北平后，何应钦等亲日分子指责他处死中村震太郎“是破坏中日邦交，是引起日本出兵东北的罪魁祸首”，主张逮捕法办。关玉衡对这些抗日有罪、爱国有罪的谬论十分气愤，数次去国民党驻北平军分会申述，不料反被军警扣押。后来，由中国民权保障同盟会等爱国组织多方营救释放。此间，他的夫人因忧劳过度病逝于北平。他将三个年幼的孩子送进北平香山慈幼院，临别时，深情地对孩子们说：“爸爸抗日去，打走了日本人，领你们回家乡。”
1935年，蒋介石调东北军去西北“剿共”。9月，张学良到达西安，东北流亡在各地的爱国志士也随之前往。翌年初，关玉衡也来到西安晋见张学良。张学良拍拍他的肩膀风趣地说：“你的头还长在肩上，为你干一杯吧!”随后，下令委任他为东北军驻西北军联络参谋，兼横山县县长。
1936年12月12日，张学良、杨虎城发动“西安事变”。24日，蒋介石被迫接受了张、杨提出的停止内战、一致抗日的八项主张。关玉衡甚为兴奋，胸中又燃起抗日之火。他满怀爱国热情，组建了横山抗日后援会，亲任会长。横山抗日后援会实际上是中共衡山地下县委，县委张书记任后援会 副会长，关玉衡的副官王宗元亦是共产党员。关玉衡暗中向吕正操部送过马匹和枪支；与榆林地区八路军办事处达成修建横山至榆林公路的协议。国民党下令让他搜查共产党重要负责人的家，他走了过场，上报“没有可疑之处”。他还积极训练县保安队、民团，准备抗日武装。
1939年，国民党顽固派发动第一次反共高潮前夕，关玉衡遭到国民党特务的诬陷，被解除县长职务。不久，地下党派人将他接到绥德三五九旅，看到了在警备团工作的大儿子关松军。父子重逢，悲喜交集。17岁的松军对他说，是为了打日本参加八路军的。他高兴极了：“好，这才象我的小子，好好干!”
关玉衡怀着重返抗日前线打回家乡的急切心情离开绥德到西安，但国民党拒不安排他的工作。为生活所迫，他先后到新疆、北平、南京、桐陵等地做一些临时性的工作谋生。
称他为“爱国军官”
1949年4月21日，毛泽东主席、朱德总司令发布了《向全国进军的命令》。当日凌晨，人民解放军强渡长江天险，彻底摧毁了敌人苦心经营的长 江防线。4月23日，解放了南京，宣告了国民党反动统治的覆灭。此时，关玉衡在桐陵县任田粮管理处长。
是年冬，在南京军管会的安排下，关玉衡怀着焦急、幸福的心情，回到阔别17年的哈尔滨与家人团聚。1953年，回到家乡宁安。在党的关怀下， 他被选为黑龙江省人大代表、省政协委员、宁安县政协委员，还参加全省少数民族代表团到北京参观访问，受到毛主席、周总理等党和国家领导人的接见，合影留念。周恩来总理亲切地称他为“爱国军官”、“爱国民主人士”。关玉衡激动万分，满怀深情地说：“共产党的阳光普照着各族人民的心。”
1965年，关玉衡病逝，享年68岁。
我国少数民族作家乌·白辛同志亲题挽词，寄托哀思：
“生何欢，生逢乱世，血雨腥风，生灵涂炭，恨青山失色。塞北男儿，壮怀激烈，誓马革裹尸，冰霜铁甲，拔剑斩敌酋，白山峰火始于足下。纠纠武夫，肝胆照人。回首当年，驰骋洮儿河畔，看白浪滔天，应千年无愧。
死何畏，恰得其时，环宇澄清，人间改色，喜碧海讴歌。江南归叟，勤修史册，效龙飞凤舞，历数晨星，挥毫论功过，黑水尘烟跃然纸上，彬彬文士，鞠躬尽瘁。放眼来日，安仰牡丹江畔。听松涛韵语，亦万古安然。”
