Som landets første telegrafdirektør øvde Carsten Tank Nielsen gjennom en mannsalder avgjørende innflytelse på utviklingen av telekommunikasjonene i Norge. Dels ledet han utbyggingen av et landsomfattende statlig telegrafnett, dels bidrog han til at staten overlot det nye kommunikasjonsmiddelet, telefonen, til private foretak.
Som ung gutt gikk Nielsen til sjøs, og som 14-åring kom han inn på sjøkadettakademiet i Fredriksvern (Stavern). Etter endt ingeniørutdannelse ved Den militære Høiskole i Christiania ble han løytnant i Marinen, og 1842–54 arbeidet han som assistent ved fyrvesenet. Her fikk han ansvaret for å anlegge og bygge om en rekke fyr. Han fikk innført fyrtårn bygd av jern i Norge etter å ha studert slike på verdensutstillingen i London 1851.
Nielsens første befatning med telegrafen var da han 1849 utredet muligheten for en optisk telegraflinje mellom Christiania og Nevlunghavn på oppdrag fra Marinedepartementet. Året etter gikk han i en ny utredning inn for å satse på elektrisk fremfor optisk telegraf, men hans forslag om å bygge en prøvelinje Christiania–Horten vant ikke tilslutning i regjeringen.
Gjennomslaget for tanken om telegraf kom først to år senere, da Indredepartementet tok saken opp på nytt. Bakgrunnen var svenske og danske planer som åpnet for å forbinde et norsk telegrafsystem med det fremvoksende telegrafnettet på kontinentet. Mens militære behov hadde dominert i Nielsens utredning, kom nå sivile anvendelser og særlig skipsfartens og eksportnæringenes behov i forgrunnen. Desember 1852 ble Nielsen sammen med oberstløytnant Harald Nicolai Storm Wergeland og universitetslektor Ole Jacob Broch oppnevnt som medlem av den kongelige kommisjonen som forberedte opprettelsen av et statlig telegrafvesen. Innstillingen forelå et år senere, og etter at de nødvendige stortingsvedtak var fattet, ble Nielsen høsten 1854 tilsatt som bestyrer for den nye etaten, fra 1856 med tittel av direktør.
I de følgende årene ledet Nielsen arbeidet med å bygge ut et landsomfattende telegrafnett, som 1870 omfattet stasjoner i samtlige norske byer og ladesteder med unntak av Røros. Han befarte personlig aktuelle ledningstraseer og foretok hyppige inspeksjonsreiser til stasjonene, og fikk dermed et unikt kjennskap til norsk natur og topografi. Tross sin militære bakgrunn kom han etter hvert til å legge størst vekt på telegrafen som et redskap for næringslivet. Blant annet ble store ressurser satt inn på å betjene de store fiskeriene på Vestlandet og i Lofoten, noe som bidrog til at driften gikk med underskudd det meste av Nielsens direktørtid.
Telefonen ble Nielsen aldri fortrolig med. Han mente den bare ville få betydning for lokal kommunikasjon og ville overlate driften av telefonanlegg til private. Ved Nielsens død 1892 fantes det omtrent 10 000 telefonabonnenter i Norge, men telegrafvesenet rådde bare over noen få apparater, som i hovedsak ble brukt til telefonering av telegrammer.
På den annen side bidrog Nielsen avgjørende til at staten unnlot å legge hindringer i veien for utbyggingen av lokale telefonnett i regi av abonnenteide selskaper og foreninger. På hans initiativ vedtok riktignok Stortinget 1881 en lov som fastslo statens enerett til å befordre meddelelser per telegraf og telefon og at private måtte søke om tillatelse til å drive slik virksomhet. Men i samsvar med Nielsens forslag, og mot regjeringens innstilling, ble lokale telefonnett som ikke krysset kommunegrensen, unntatt fra loven. I de nærmeste årene fulgte staten dessuten en liberal linje ved tildelingen av konsesjoner til mellombys telefonforbindelser. Det liberale statlige reguleringsregimet, som Nielsen mer enn noen annen bidrog til å utforme, utgjorde en viktig forutsetning for den raske spredningen av telefonen frem mot 1900, da det i Europa bare var Sverige som hadde flere telefonapparater enn Norge i forhold til innbyggertallet.