退社までの有休消化中に競合会社を設立し、、、

この3月で会社都合によりクビになりました。 しかしながら今の仕事が好きな私は前会社と同じ内容を行う会社（株式会社です）を退社までの有休消化中に設立いたしました。 営業をかけるお客様はとある病院でして、私が前会社にて5,6年担当をしていた所へ随時契約の仕事を頂きに改めて営業をかけています。 しかしながら、先日、前社長に私の行動が分かり連絡がありました。内容は病院への出入りとそれ以外のその会社の取引先への出入りを止めるよう要求されました。 私は正直、今でも悪いことをしている気がしていません。 相手からすれば面白くない気も分かりますが、在籍中の対応、待遇を思えば正直言われる筋合いが無い。このくらいやられて当り前でしょ。くらいに思ってます。 確かに有休消化中なのでその期間が終わるまでは仕事をしてはいけないのは分かりますが、 有休消化が終わり、退社後に再び病院へ営業をかけると訴えられたりされますか？ 最後に話をした際に前社長はどうにかして阻止してやる的な事を漏らしていました。 訴えられた場合には、自由競争は適用にならないのでしょうか? ちなみに、前会社ではただの営業社員でした。 法律などに詳しい方、よろしくお願いいたします。 又、質問などがあればお答えいたします。