大门为西式。门内的东边在1939年9月1日召开汪伪国民党六大之后、1940年3月“国民政府还都”之前，建了南北相对的两长条20余间中式平房，作为汪伪国民党中央社会部使用。

大门明轩的东边建了一座面对极司菲尔路的瞭望台。想进大门的人得有淡蓝色的通行证。

二门原为西式，“76”号改为牌楼式，中间为门道，上方匾额为蓝底白字的“天下为公”；左右两间砌为枪眼，架设两挺机枪，作为警备之用。想进二门的人得有淡红色的通行证。

二门之内的东边，增建了南北相对的两长条20余间中式平房。南方最西端一间，是警卫大队长吴世宝的办公室。北方最西端一间，是审讯室。其余的是警卫大队驻地，后来成为“76”号各处室的办公地。

二门之内的西边斜对过，是一座三层洋楼，称为“高洋房”，想进高洋房的人得有别在衣领后的特殊标志。

走上楼梯，迎面是穿堂和楼梯。一层东边第一间是会客室，里面有两个交际花作为接待员。会客室后面是一个里外间，外间是电话接线间，有三个男接线员分三班轮值，两个交际花有时也来帮忙；里间是储藏室。

会客室对面是大菜间（餐厅），里面有门通向后面的会议室，会议室也是新参加“76”号的特务的宣誓室。

有一条狭长的走廊通向客房和高洋房以西的大礼堂。另有一条甬道通向后面吴世宝的卧室，甬道旁有两间专关女犯人的小囚室。

三层的两间为犯人优待室，在楼梯口有铁栅栏，有专人把守。

高洋房前是一座很大的花园，花园西边的一个大花棚被改为看守所。花棚西边新建了一座两间的楼房，作为电务室，电台设在这里。花棚前面是一座三间的平洋房，建筑形式新颖，作为日本宪兵督导之用。

高洋房西边有一座三间两进的石库门楼房，后来打通了楼下的房间，天井搭上玻璃天棚，搭了一个讲台，改为可容200余人的大礼堂，汪未经的“中国国民党第六次全国代表大会”就在此召开。

1939年9月1日召开汪伪国民党六大之后、1940年3月“国民政府还都”之前，一部分作为肃清委员会使用，另一部分作为汪伪国民党中央社会部使用。

“76”号西邻华村是一条死胡同，1939年9月1日召开汪伪国民党六大时被占用，作为代表的住所，后来作为“76”号、肃清委员会、汪伪国民党中央社会部的高官的住所。

为此特务们把华村的弄堂门封闭，在“76”号西墙开了一个便门，从“76”号大门出入。经过不断扩充，原先只是一栋洋房的76号，扩大到了内部来往需要汽车，足见其占地之大。

76号内设有三个机构，即伪特工总部、社会部及肃清委员会。

伪社会部名义上是组织人民团体从事民众运动，实际上就是拉拢各行各业的败类来加入汉奸组织。伪肃清委员会专门收编重庆方面的散兵游勇。

肃清委员会的任务大多由特务兼任，如早前落水投靠的王木天，很多都是变节了的老牌军统特务，在此转而做军事工作。他们有着天然优势，对于中统以及军统的联络方式和内部架构，以及人员都非常熟悉，破坏性相当大。

汪伪特工总部在各地收编了不少军统的“忠义救国军”等零散部队，扩充成特工行动队伍。常熟、昆山、松江、青浦等地也都组成了这种乌合之众的特工队伍，壮大了汪伪特工总部的声势。

此外，还有一个警官训练班，亦即特务训练班，对外名称叫“聚川学院”。

从1938年8月28日汪伪“国民党六大”召开到1940年4月26日汪伪政府“还都”，76号特工总部短短半年时间里，取得了快速的发展。