¿Los Istari hubieran podido engendrar hijos como Melian, también un espíritu Maia, pudo dar a luz a Luthien?

No hay razón para suponer que no podrían.

Porque con el consentimiento de Eru enviaron miembros de su propio alto orden, pero vestidos con cuerpos de hombres, reales y no fingidos , pero sujetos a los temores, dolores y cansancio de la tierra, capaces de tener hambre y sed y ser asesinados; aunque debido a sus espíritus nobles no murieron, y envejecieron solo por los cuidados y trabajos de muchos largos años.
Cuentos inacabados de Númenor y la Tierra Media

De esto deduzco que los Istari tenían los cuerpos de viejos varones humanos, incluido un sistema digestivo y órganos reproductivos. En este caso, podrían haber engendrado hijos si hubieran querido.

En cualquier caso, ¿es probable o posible que incluso el menor de los Maiar se convierta en Orcos? Sí: tanto fuera de Arda como dentro, antes de la caída de Utumno. Melkor había corrompido muchos espíritus, algunos geniales, como Sauron, o menos, como Balrogs. Lo menos podría haber sido Orcos primitivos (y mucho más poderosos y peligrosos); pero practicando cuando la procreación encarnada ellos (cf. Melian) [se vuelven] más y más terrenales , incapaces de regresar al estado espiritual (incluso en forma de demonio), hasta ser liberados por la muerte (matar), y disminuirían en fuerza. Cuando los liberaran, por supuesto, como Sauron, serían ‘condenados’: es decir, reducidos a la impotencia, infinitamente recesivos: aún odiando, pero cada vez más incapaces de hacerlo efectivo físicamente (o no sería un Estado Orco muerto muy reducido un poltergeist ?)
Anillo de Morgoth

Cuanto más tiempo y más se use el mismo hroa, mayor es el vínculo del havit, y menos el deseo “autoorganizado” de dejarlo … Si un “espíritu” usa un hroa para el logro de sus propósitos personales, o (aún más) para el disfrute de las facultades corporales, le resulta cada vez más difícil operar sin la hroa. Las cosas que son más vinculantes son las que en el Encarnado tienen que ver con la vida del hroa, su sustento y su propagación . Por lo tanto, comer y beber son vinculantes, pero no el deleite de la belleza del sonido o la forma. La mayor unión es engendrar o concebir.
Osanwe-kenta

Parece que no hay nada que impida a Ainur reproducirse si asumen cuerpos físicos con el “equipo” correcto.
Del mismo modo, los Dragones (algunos de ellos eran al menos demonios encarnados) y Ungoliant también pudieron procrear.

A los Istari se les asignaron deberes específicos. El celibato definitivamente está implícito.

Podrías imaginar que Gandalf como Olorin podría haberlo hecho. Y los demás, si estaban allí en ese momento.