¿Puedo evitar que mi ex se lleve a mi hijo sin mi supervisión?

Bueno, la historia es así: Obviamente tuve un hijo con mi ex, este al enterarse que estaba embarazada me "sugirió" abortar, a lo que me negué rotundamente. Aun después de esa muestra de desprecio hacia mi hijo, decidí darle otra oportunidad, para que mi hijo pueda tener una familia. Mi embarazo fue muy complejo, al punto de ser internada 2 veces por deshidratacion, la ultima al borde del infarto, ( dicho por el medico de guardia). Y otra ultima internación por pre-clapcia ( hipertensión en el embarazo), durante la que gracias a Dios nació mi hijo, con 8 meses de gestación y pesando 1,700kg. El durante la estadía de mi hijo en neonatología no respetaba las normas de higiene del lugar, como: sacarse la gorra para entrar. Durante mi embarazo solo tuvo un empleo que le duro 3 meses, y luego al año del niño otro que le duro 6. En todo ese tiempo, jamás convivió con nosotros. Hoy hace 6 meses que estamos separados, y en estos 6 meses ya tuvo dos episodios en los que desapareció por 1 mes completo, y estuvo a punto de tener otro hace días, pero lo busque por cielo y mar al ver que pasadas 2 semanas ni siquiera respondía mis mensajes., y me clavaba el famoso "visto". EN TOOODO este tiempo, y aun durante mi embarazo mis padres debieron ser quienes prácticamente nos mantuvieron. En otra ocasión luego de pedirle que cuide al nene mientras yo tomaba un baño, al volver a la habitación el estaba con su celular mientras mi hijo estaba por la mitad de comerse un jabón, acto que termino en una gastroenteritis y faringitis muy grave. También consume marihuana, y cocaína, lo que me da mas inseguridad a la hora de que se lo lleve sin mi. La causa de nuestra separación además de lo ya mencionado y otras cosas más. (no se si tenga que ver) fue que descubrí que el fue infiel mientras yo estaba embarazada, 2 semanas después de mi segunda internación. Aun después de todo esto, mi interés no es negarle a mi hijo el contacto con su padre, si no poder cerciorarme que el va a estar bien. Y por esto pedir visitas restringidas, con mi supervisión. El no nos da la cuota alimentaria, y nunca fue un padre atento, tengo testigos, que NO son de mi familia, si no de la suya. Por favor, díganme que puedo proteger a mi hijo de sus imprudencias. Desde ya muchas gracias, y mil perdones por la pregunta tan extensa.