第二次世界大战以前，维多利亚女皇铜像在香港会所前的皇后像广场竖立。

有人说只要三个英国人聚在一起，就能组成一个俱乐部会所。在维多利亚时期，英国绅士的会所主要是提供一个舒适有气氛的环境，让志趣相投的人互相认识和聚会，一边喝著醇酒佳酿，吃著味道平平的食物，一边畅谈大家共同的兴趣话题，在没有妻子陪伴在侧的情况下畅所欲言。

1845 年5月26日，首间香港会所举办了一个豪华盛大的开幕舞会。香港会所位于云咸街的尽头，即是现今娱乐行的位置。英国著名作家查尔斯．狄更斯（Charles Dickens）的朋友—艾伯特．史密斯（Albert Smith），曾于1858年来过会所，但里面的会员却没有给他留下很好的印象。他愤怒地写道︰「这种茶会根本不需要任何思维能力，只是一种消遣而已嘛！」他抱怨︰「人们懒洋洋地躺在长竹椅上，或不停抽烟，或只顾着玩撞球，球子碰撞的卡嗒声可是从清晨开始就没停止过；还有人一脸茫然，扫视他们手上的本地报纸。」

有人说，在英国人的会所里，最重要的并不是你让什么人进来，而是什么人被拒于门外。在1860年，有人则投诉，即使是最有资格进入会所的人，也多番被拒门外，严格如此，叫人苦恼不已。公平一点来评论，香港会所对于什么人才能加入成为会员，已远远不及上海总会挑剔讲究。然而上海总会的会员，大概又会被另一些更挑剔的英国会所拒绝加入，这些会所均由英属印度的权势人士资助。

1864年，一场暴乱于荷李活道展开，后来更升级成为驻港英军与香港警察之间的骚乱。那时候，来自多个欧洲国家的香港居民组成一队义勇军，他们被召唤以第三者的身份介入调解。后来秩序得以恢复，这队义勇军得意洋洋地往皇后大道步行而下，恰好来到香港会所的门外。这队义勇军中，有些人正是香港会所的会员，于是他们邀请同行的伙伴进去一起喝东西。不过，因为这样做是违反会所的规定，当这群汗流浃背的二等兵被赶出门外，差点又引发了另一场骚乱。据报「事情发生后，会所内外的社交活动深受影响，不但伤了感情，彼此也产生了很长时间的敌意。」

由此看来，在义勇军当中，很多人都不符合维多利亚观念里「绅士」的条件。首批义勇军更被视为「次等」人，在他们当中差不多有百分之十的人都是小旅馆的经营者，余下的则从铁匠、造船工人、卑微的工匠到像查理．希利尔（Charles Hillier）这样的高级公务员都有。在香港真正成为英国殖民地以前，曾经有几个月的时间，是由查理管治香港。奥地利和普鲁士的名誉领事Gustav von Overbeck男爵也曾是义勇军的一份子。

直到现在，香港很多会所仍然存在一些奇特的规定，像香港会所便对衣装打扮有严格的要求。多年前，Glenavy勳爵三世来到这个殖民地，旅程的第二天，他穿著一件鲜花图案的运动型汗衫，来到香港会所。看守会堂门口的人朝这位身高六尺五吋的爱尔兰贵族瞧了一眼，看见他身上的衣服，然后说︰「你好，你没有结领带，麻烦到后面的酒吧去。」

跟「次等」义勇军的反应不一样，这位勳爵感到非常满意。在60年代，他是英国报章老家伦敦舰队街最有趣搞笑的专栏作家，以笔名Patrick Campbell为《Sunday Times》撰文；他更为香港之行写了一个让人捧腹大笑的有趣故事。后来，他成为别具一格的电视明星，虽然有口吃的语言障碍，但负责他首次亮相萤幕的电视制作人Ned Sherrin都惊叹：「他一炮而红，获得所有人的热烈讚赏。」

艾伯特．史密斯（Albert Smith）早期曾到访的香港会所，位于皇后大道及云咸街交界。