香港大会堂的地方不足，令凯瑟克主办的公开会议要搬到木球场上进行。

在1880年1月19日，伍才成为香港定例局（即立法会）首位华人议员，不过只维持了短暂的时间。伍才是英国公民，生于新加坡，在英格兰接受教育，是首位获召加入英国大律师公会及在香港执业的华人大律师。

最初，伍才深得侨民的欢迎，后来他跟轩尼诗爵士（Sir John Pope Hennessy）过从甚密，人们不喜欢这位爱尔兰籍的香港总督，于是连伍才的受欢迎度也跟著下跌。轩尼诗有个怪习惯，他喜欢委任自己的亲信出任政府官职，但往后又会一时兴起把亲信开除，性格反复无常。有历史学家形容他「走在时代之前」，不过也有人抱不同意见︰据报导，在轩尼诗离港后，英国国务大臣金巴利伯爵（Lord Kimberley）就「极为渴望能抹掉轩尼诗爵士在香港留下的痕迹」。

轩尼诗废除在公众面前鞭打罪犯这不人道的行为，惹来侨民的批评，指这是后来犯罪浪潮的成因。在1878年，情况变得更坏，怡和洋行大班威廉．凯瑟克（William Keswick）召开公开会议，谴责政府的政策。（洋行是指商业贸易大公司，而大班就是洋行的负责人。）那时候，凯瑟克是这个殖民地上最具影响力的富商。

会议在香港大会堂举行，出乎意料地，伍才跟300名中国商人一起出现，支持政府。那地方根本容不下这么多人，结果会议要移师到旁边的木球场上。当凯瑟克拒绝提供翻译员，伍才优美地挥动了手上的扇子一下，示意他的支持者离开，留下60个不知所措的欧洲人呆立当场。及后，伍才致函到香港主要的报章《中国邮报》，问道为何他的同胞出席香港第一个由欧洲人举办的公开会议，却没得到好好的对待。

两年后，轩尼诗委任伍才为立法会议员。其实，跟其他英国殖民地相比，说到以当地人才担当殖民政府的官职，香港可谓远远落后。新加坡立法会自1869年开始已经有华人议员，而轩尼诗在管治纳闽（马来西亚的一个岛屿）期间，也曾任用华人。基本上，这也是当时英国首相班杰明．迪斯雷利（Benjamin Disraeli）的殖民地政策之一，只要适合，就可以在大英帝国的殖民地任用当地人才。

伍才劝服港督轩尼诗允许中国人购买域多利军营附近的土地，并在上面建筑楼房，此举激怒了驻军司令多诺万（Major-General Donovan）。多诺万跟港督本来已非知交，这件事情更令他拒绝在英女皇寿辰派出军乐队到港督府（现时的礼宾府）献乐。

不幸地，伍才后来在地产的投资失利，差点破产。他辞去立法会的职务，离开了香港。不过，伍才的财政问题并未毁掉他的事业，他离开香港以后去了中国，以伍廷芳之名担任满清皇室的官吏及大臣李鸿章的幕僚。

在1897年，他出任清政府驻美国、西班牙及秘鲁的公使，在前往美国的时候路经香港；香港的首席法官约翰．卡林顿（John Carrington）便为伍才举行了一个华丽的宴会，聊表心意。