David fez sua primeira aparição na televisão como um concorrente do game show The Pyramid $ 25.000, em dezembro de 1979, quando se juntou à atriz Patty Duke. Ele viria a aparecer em versões posteriores do show como convidado. Como um ator lutando no início de 1980, ele também teve pequenos papéis em populares sitcoms, incluindo M*A*S*H, Airwolf, The Dukes of Hazzard e Esquadrão Classe A.

Sua estréia no cinema foi em 1981, quando interpretou Gergley no drama de Quatro Amigos. Mais tarde, interpretou o Cadete Eugene Tackleberry (mais tarde Sargento Tackleberry) em 1984, na comédia Loucademia de Polícia, e estrelou em cada uma das seis continuações, sendo este seu maior sucesso. Em 1992, Graf voltou a atuar num papel menor, como um policial de novo para a série de comédia Seinfeld durante sua quarta temporada, no episódio "O Bilhete" e também apareceu em Night Court. Atuou como Tackleberry pela última vez em uma aparição no curta Police Academy: The Series.

Fez aparições notáveis após seu papel em Loucademia de Polícia, incluindo uma parte de repetição em The West Wing. Participou do episódio "The 37s", de Star Trek: Voyager. Em Star Trek: Deep Space Nine, David interpretou o klingon Leskit, no episódio "Soldiers of the Empire", na quinta temporada.
Sua última participação na televisão foi em um episódio de The Amanda Show, do canal Nickelodeon, apenas três meses antes de falecer.
Graf morreu de um ataque cardíaco em 7 de abril de 2001 enquanto assistia a um casamento da família em Phoenix, Arizona. Ele foi sepultado no Cemitério Forest Rose, em Lancaster, Ohio.

Cônjuge: Kathryn Graf (de 1983 a 2001)
Filhos: Sean Graf, Daniel Graf