A ver McClane los tar gz no son específicos de linux, TAR (Tape ARchiver) solo junta ficheros, y gz (gzip) compresión, yo los uso en windows por ejemplo, luego puedes tener tar.gz, tar.bz2, etc. Osea el mismo TAR comprimido con diversos algoritmos.
Lo que ocurre es que en linux se suelen distribuir los binarios precompilados de muchas aplicaciones, como aMule o MySQL los cuales se meten en un TAR y se comprimen para que no te los tengas que bajar uno a uno.
Al igual que se distribuyen aplicaciones en zip para windows.
Los .SO en linux/unix que significa Shared Object serían las .dll de Windows y los .exe de windows no tiene euiqvalente ya que los binarios no llevan extensión, simplemente sabes que son binarios
Los instalables en linux son .RPM (Red Hat package manager) para sistemas basados en RH, .DEB para debian, etcétera