Nacido en Visegrad, Hungría el 13 de Enero de 1927, de niño Zoller daba clases de violín clásico por su padre, que era un violinista profesional. En su adolescencia se pasó al fliscorno y también se formó con el bajo y la guitarra. Zoller dejó la escuela durante la ocupación rusa de Hungría después de la Segunda Guerra Mundial y comenzó a tocar profesionalmente en algunos de los clubes de jazz de Budapest. Escapó de Hungría en 1948, justo antes del bloqueo soviético sobre su país y comenzó su carrera musical en serio en Viena a partir de 1948. En la capital austriaca formó un grupo de jazz con el acordeonista y vibrafonista Vera Auer. Zoller dejó Austria para trasladarse a Alemania una vez concluida la II Guerra Mundial, en 1954, donde tocó con el pianista Jutta Hipp, el saxofonista Hans Koller y el trombonista Albert Mangelsdorff.
Las visitas a Alemania de algunos músicos estadounidenses como Oscar Pettiford y Lee Konitz, le abrió las puertas para trabajar en los EE.UU, ya que ambos encontraron el trabajo de Zoller como muy notable. Emigró a EE. UU en 1959 tras ganar una beca para estudiar en y formarse en la prestigiosa Escuela de Músicade Jazz Lenox. Allí estudió con el guitarrista, Jim Hall y se dio de bruces con la música free que protagononizaba por auwel entonces el saxofonista Ornette Coleman y el trompertista Don Cherry. Aquel encuentro despertó el interés de Zoller en el free jazz.
Zoller fue el presidente fundador del Centro de Jazz de Vermont (1985), donde también enseñó música hasta 1998. En 1995, recibió el Premio a la Trayectoria de la Fundación de Nueva Inglaterra de las Artes por su permanente contribución musical de jazz. También fue un diseñador de instrumentos musicales y ayudó a diseñar a algunas empresas su propia línea de guitarras. Zoller murió en Townshend, Vermont el 25 de Enero de 1998 y sus amigos músicos le rindieron homenaje a su música con la grabación de un álbum editado por el sello ENJA Records en el año 2015. La grabación incluye artistas de la talla de Ron Carter, John Abercrombie, Mike Stern, Peter Bernstein, Pat Metheny ‘Jim Hall o Gene Bertoncini.