娘を連れて帰りたい

内容を見る限り、「あなた」の情報がないので何とも判断がつかないですね。

娘の障害の事で話しているのになぜ私の詳細がいるんですか？　そういう対応だから障害者の家族が泣き寝入りするはめになるんです　偏見は止めてきちんと考えてくれる方のみコメントください

お尋ねの内容の確認ですが、「成年後見補助人が面会をさせないと言っている」のか、「成年後見人さえも面会させてもらえないのか」どちらでしょうか。文面では、「成年後見補助人が面会をさせないと言っている」というふうに読めてしまいます。となると、成年後見補助人の同意をとって入所されたのでしょう。
施設側はもちろん、後見人（保佐人、補助人含む）に、実の親の面会を制限する権限などありません。
お役所という所は、面倒と思うことは受けないんです。
個人的なことになるので、掲示板では詳細なことは申し上げられませんが、ご親族の間で何かトラブルがあったのでしょうか。
法的な問題が絡むと思いますので、法的立場で話しができる弁護士さんに一度ご相談なさってはいかがでしょうか。
これ以上は何とも申し上げられません。

そもそも役所が主導でされている場合は虐待などに関する保護のための場合が多いです。本人の年金を使いこんで生活をされていた、食事提供や生活支援を怠慢して介護放置されていた、体罰的なしつけをされていたなど。
そのようなケースがたくさんあることも事実ですので、まずお子さんを連れ出すことではなく、関係者、計画相談事業、お役所と対話をすることが大事です。身に覚えがないと自覚されていても周りの方から見たらそのような状況にあると感じられているはずです。
一つ伝えておきますが福祉だからこそ、こんなことをしても本人を守るのです。いつか笑顔でお子さんとも周りの方とも安心して暮らせる日がくることを願ってます。