Wat bij rondleidingen over het voormalige Marine-Etablissement telkens weer naar boven komt zijn de geruchten en geheimzinnigheden die altijd met militaire terreinen verbonden zullen zijn. Zo zouden er verschillende ondergrondse bunkers en gangenstelsels op het terrein aanwezig zijn en hebben Hirsi Ali en Geert Wilders hier daadwerkelijk ondergedoken gezeten. Verder heeft op het Marineterrein ook de TIVC gezeten, het Technisch Informatie Verwerkingscentrum, een defensie-onderdeel dat voornamelijk werkte voor de Inlichtingendienst Buitenland (IDB). Hier werd internationaal telefoonverkeer afgeluisterd en geanalyseerd. Gesprekken via satellietverbindingen werden op band opgenomen en met behulp van trefwoorden geselecteerd voor nader onderzoek.
Op veel kaartjes van het terrein werd dit gebouw (nummer 012) weggelaten of was het onbenoemd.
De Telegraaf schreef op 1 februari 1992 een artikel over de falende Nederlandse veiligheidsdiensten. De TIVC kreeg echter een pluim:
Dank zij het super-geheime en ultra-moderne afluistercentrum op het terrein van het Marine Etablissement bij de Amsterdamse wijk Kattenburg — kosten ongeveer 150 miljoen gulden per jaar — maakte de IDB internationaal furore.
De dienst deed dat in de lente van 1981 nog eens dunnetjes over. Op 7 juni van dat jaar bombardeerden F-16--jachtbommenwerpers van de Israëlische luchtmacht Saddam Hoesseins in aanbouw zijnde kerncentrale in Osirak. Slechts zeer weinigen weten dat de informatie over Iraks eerste nucleaire bolwerk afkomstig was van de Inlichtingendienst Buitenland. Opnieuw was de IDB erin geslaagd een absolute spionagescoop te behalen.
