Am 25. August 2017 feierte Peter Josef Kunz-von Gymnich sein 40-jähriges Dienstjubiläum als musikalischer Leiter der Polyhymnia Chöre und nach 41 Jahre im Dienste "seiner Polyhymnia" verabschiedete er sich am 29. September 2018 im Rahmen des Jubiläumskonzertes zum 125-jährigen Vereinsbestehen in den wohlverdienten Ruhestand und übergab den Taktstock an die nächste bzw. übernächste Generation.
1977 begann er zunächst als Dirigent des Männerchores, übernahm dann kurz darauf auch die damals als Polyhymnia-Quartett bekannte gemischte Chorgruppe, die er dann unter dem Namen Polyhymnia-Mixtett leitete.
Seiner langjährigen nachdrücklichen Forderung ist es zu verdanken, dass 1984 der Polyhymnia Frauenchor als erster Offenbacher Frauenchor ins Leben gerufen wurde.
Wenige Jahre später wurde unter seiner Leitung mit dem Jungen Chor eine weitere Abteilung gegründet, die junge Sängerinnen und Sänger für das chorische Singen von Rock-, Pop- und Jazz-Titeln begeistern konnte. Diese Abteilung benannte sich später in Polyhymnian Harmonists um und ersang unter seiner Leitung, bis zu ihrer Ausgliederung im Jahr 2011, für den Verein Polyhymnia große Anerkennung.
Für ganz junge Sängerinnen, Sänger und Instrumentalisten wurde dazu noch von 2004 bis 2007 unter seiner Leitung das Projekt Pink Noise angeboten, das es Jugendlichen ermöglichte, gemeinsam zu singen und auf Instrumenten zu spielen.