他以薪水和退休津贴名义，巧妙地将海关价值高达40万英镑的银子汇回英国，其亲属则额外提取了约10万英镑。据另一种估计，赫德及其家人共赚取了接近75万英镑，这等于500万两白银。有人为其辩护，认为赫德对清政府收到的税款贡献巨大，这也有一定的道理。此事揭露了晚清海关所谓的“清廉神话”，实际上是由外国人控制的特殊机构。
罗伯特·赫德在中国海关总税务司一职近50年，他曾坦言晚清中国海关是一种半殖民性质的“非正常机构”。它虽然隶属于中国政府，但实权掌握在来自主要贸易国家的人手中。在西方列强对中国海关管理107年的历史中，前100年几乎都是英国人担任总税务司。赫德是第二任，从1861年到1908年，他几乎操控了整个半个世纪。在他的领导下，海关采纳了一系列西方先进管理理念，如行政统一、开放国门、改革教育以及建设港口等。
尽管如此，该制度并非完全无瑕，每逢年底，还会有所谓“密报考核”制度，让每位员工都要写出年度评估报告，以决定升降调动。这被称作“阎王爷生死簿”。然而，这样的独立王国最终导致问题重重，最终走向衰败。
