然而，溥仪的地位是日本人赐予的，溥仪的一切理当由日本人管理，这里的“一切”自然包括他的贴身侍卫。溥仪身边的这位中国侍卫，很快引起了日本方面的不满，原因很简单：他们觉得霍殿阁可能会影响自己对皇帝的控制。在这种情况下，日本方面自然会采取措施，很快，他们提出要更换溥仪的侍卫。但这一次，溥仪并没有对日本人言听计从，他反而强硬地说道：“如果你们请的侍卫能够打败霍殿阁，那就随你们怎么安排！”崇尚武士道精神的日本人一听这个，自然也就不好再往下说了。
回去之后，他们立即从日本国内找来了各路高手，前来挑战霍殿阁。对战的结果是：从剑术、刀法，一直比试到拳法、腿法，霍殿阁皆以全胜的战绩，维护了自己的地位，同时也给了溥仪一丝慰藉。霍殿阁的位子虽说是稳住了，可并不代表日本人会善罢甘休。屡战屡败的日本人，给溥仪安插了一个侍卫长工藤，此法意在加强对溥仪控制的同时，制衡高手霍殿阁习武之人，当有傲骨。
霍殿阁也是一位有血性的汉子，日本人给他安排一个顶头上司，用脚趾头也能猜出他们要干嘛。可是，连自己的主子都身陷囹圄，自己又能翻出什么浪来呢？想到这里，霍殿阁不免有些失落。1937年，霍殿阁手下一群弟子在长春的大同公园游玩，与一帮日本士兵不期而遇。双方言语不和，爆发冲突。冲突的结果可想而知，一群普通的士兵，哪里能打得过一群有中国功夫的练家子？没多大功夫，这帮日本兵就被撂翻了，这些日本兵里还包括一名日军上校。
本来就对霍殿阁非常不满的日本人，这下终于逮到了一个绝好的报复机会。自知闯了大祸的霍殿阁，赶紧跑到溥仪这里求情。可叹，溥仪连自己都保不住，又拿什么去保别人？无奈之下，霍殿阁只能向溥仪辞职，然后溜之大吉。实际上，对于此时的霍殿阁而言，“溜”已是必然。因为随着时间的推进，他的身体已经因吸食鸦片而大不如前了，这种境况下要担当好保护溥仪的重任，显然是有难度的。
何况，他身边还一直有对他虎视眈眈的日本人呢！不再担任皇帝保镖的霍殿阁，连在东北苟活的机会都没有了，毕竟那里是日本人的天下。自己的徒弟将人家打了一顿，哪这么容易就过去了？于是，霍殿阁只得辗转又回到了天津，霍殿阁回到天津后不久就爆发了七七事变。此时的霍殿阁仍旧想要逃跑，可是久染鸦片的他，已经没有了当年的斗志。
面对日军的大肆侵华，他选择了隐忍。当日本人端着枪将他包围时，昔日的硬气再也不曾出现，霍殿阁反而有些懦弱。日本人看到这样的霍殿阁这副德行，内心或许多了几分鄙夷吧，于是，他们选择了饶他不死，只带走了他的几位徒弟了事。自此以后，霍殿阁的威风自是荡然无存了。因为长期吸食鸦片且染上了淫乐的恶习，霍殿阁的身体渐渐被摧残得不行了，年56岁这年，他便因抵抗力下降染病离世了。
历史上溥仪身边的第一保镖霍殿阁到底有多厉害呢？
答：先说一下，清末大侠霍元甲有一个儿子名叫霍东阁，名字与溥仪身边的第一保镖霍殿阁仅一字之差，那么，霍元甲与霍殿阁有什么关系呢？霍殿阁是否霍元甲的子侄辈呢？其实，他们只是同姓，五百年前是一家。而在他们生活的时代，并没有什么交集。霍元甲是1868年生人，生于天津静海县。霍殿阁比霍元甲晚生了十八年，是1886年生人，生于河北省沧州市南皮县鲍官屯镇小集村。
沧州是有名的武术之乡，受民间练武之风的影响，霍殿阁自幼爱练武，跟本村武师练习过二郎拳、三十六拳、四郎宽拳等。1902年，霍殿阁正式拜入李书文门下，成为李的大弟子，后来又陆续拜张景星、王中泉等人为师。霍殿阁有多厉害呢？说不清。民间有传说称他用长枪扎苍蝇，一扎一个准。传说而已，没有事实根据。但霍殿阁的确是有真功夫的。
比如说，1914年，经李书文推荐，霍殿阁到黑龙江省驻军第一师师长许兰州处报到，一下子就得到了许的欣赏，任军官学校武术教官。再有，霍殿阁教出来的徒弟，如赵玉亭、孙玉龙等人，名头也很大。当然，最能说明霍殿阁功夫的厉害之处的，是他和溥仪身边日本保镖比武连战连捷的事实。溥仪当时在日本人的扶植下当傀儡皇帝，就连身边的保镖都是日本人，很不爽，提出要换中国保镖。
日本人说，中国人不行，要想安全，还得日本武士来保护。溥仪通过许兰州认识了霍殿阁，就指定要霍担任自己的保镖兼武术教师，让他跟自己身边的两个日本保镖比。比武的结果是霍殿阁赢了，所以，霍殿阁就成为了溥仪身边的第一保镖。日本人为了便于控制溥仪，就不断找茬，想挤走霍殿阁，多次派剑道、空手道、柔道高手来与霍殿阁比武，霍殿阁一一将之挫败。
