Josef Černý začínal s hokejem v Rožmitále pod Třemšínem, později zamířil do Plzně a v roce 1958 do Brna, kde nastoupil vojenskou službu. S tamní Kometou spojil svou kariéru na dalších dvacet let.
Bývalý vynikající útočník získal s brněnským klubem sedm mistrovských titulů a stal se historicky nejlepším střelcem, nahrávačem i nejproduktivnějším hráčem Komety. V nejvyšší československé soutěži odehrál 671 zápasů a překonal hranici 400 vstřelených branek.
V národním týmu patřil mezi opory a později nosil i kapitánské céčko. Z mistrovství světa si odvezl čtyři stříbrné a čtyři bronzové medaile. Navždy zůstane v paměti jeho gól Sovětskému svazu na šampionátu ve Švédsku v roce 1969, odehraném jen pár měsíců po okupaci. Před domácím MS 1972 v Praze se reprezentace dobrovolně vzdal.
Zúčastnil se čtyř olympijských her. V Grenoblu 1968 pomohl k zisku stříbra, v Innsbrucku 1964 a Sapporu 1972 pak k bronzu.
Po konci hráčské kariéry se věnoval trénování. Působil na Slovensku, v Itálii, Rakousku a na přelomu tisíciletí se vrátil do Brna.
V roce 2007 ho uvedli do Síně slávy IIHF, o rok později vstoupil i do Síně slávy českého hokeje.
