１９０２年２月１４日付の東京朝日新聞によれば、第７回総選挙のおよそ半年前、井上角五郎らは、全国各市から７０名余りの純然たる実業家を当選させて、１つの団体を結成しようとしていた（記事は立憲政友会を脱した大倉喜八郎、中沢彦吉、岩出総兵衛、井上角五郎を主語とし、横浜の実業家、大谷嘉兵衛、浅田又七、大阪の松本重太郎、片岡直温、京都の田中源太郎、岡山の香川真一も賛成したとしている）。８月２５日付の萬朝報によれば、第７回総選挙後、実業家と自称して当選した３０余名のうち、東京府内選出の大橋新太郎、朝倉外茂鉄、仁杉英、田口卯吉等が、無所属議員の間を遊説して、実業倶楽部のようなものを結成しようと準備をした。翌２６日付の東京朝日新聞は、大橋、井上角五郎、仁杉らが主唱者だと報じている。８月３０日付の同紙は、井上、渡辺甚吉らが中立議員を糾合して１つの団体を組織しようとしていたことを報じている。そして政府が、自由に指揮できるのであれば組織化は不要だとしていたところ、井上、渡辺、重野謙次郎らが、「実業」の文字の下に立って衆議院の内外で運動する場合、政府の歓待を受けるだけでなく、利益問題に対する進退を決する上で利便性があることから、団体組織に全力を尽くしているとした。彼らは鉄道国有派であった。一方で、９月２８日付の読売新聞は、中立議員のうち桑原政、渡辺甚吉、大河内輝剛、細野次郎らが、不偏不党の中立団体を組織しようとしており、２６、７名の同志がいるらしいことを報じている。
その後の衆議院を見ると、１０月１８日に壬寅会が結成されており、上に紹介した報道が、同派の結成につながったのだと考えられる。報道された時期に関係なく、どの記事にも、壬寅会に参加しなかった議員の名が挙がっている。それは、萬朝報では朝倉、田口、東京朝日新聞では井上、重野、読売新聞では大河内である。朝倉、井上、重野については後日、萬朝報が説明している（１９０２年１０月１１日付）。岐阜市選出の渡辺甚吉が井上角五郎に使われて、中立団体を組織しようと奔走した。しかし細野次郎、大橋新太郎は政府に忠勤を尽くすものだと看破して、これを相手にせず、壬寅会の組織を計画した。そして井上らが同派への入会を申し込むと、渡辺については、田舎の一富豪に過ぎず、野心から政府に操縦されるほどのものではないとして許し、井上、重野謙次郎は札付きの政府党だとして、拒絶した。以上である。重野は井上、田健次郎と共に１９０１年１２月２６日、第１次桂内閣と通じていたことを問題視され、立憲政友会から除名されていた。実際に、壬寅会には渡辺が参加し、井上と重野は参加していない（１９０２年１０月１０日付の、読売新聞と東京朝日新聞における結成時の壬寅会の衆議院議員の一覧－１３名とされている－と『議会制度百年史』院内会派編衆議院の部－１８名としている－には井上角五郎と重野謙次郎の名はない）。萬朝報はまた、朝倉が同派への入会を申し込んだが、多分承諾されないと報じた（１０月１５日付）。実際、朝倉の加盟は確認できない。
ここまでに述べた壬寅会の結成に関する動き、後述する、初当選の議員がほとんどであったという壬寅会の性質から、第４回総選挙で当選してから議員を続けてきており、第６回総選挙後には、地租増徴について政府側と駆け引きをした田口卯吉は、加入しなかったか、加入を拒まれたのだと考えられる。１０月１２日付の東京朝日新聞によれば、前者であった（勧誘もせず、申し込みもなかったとしている。また、正反対の井上角五郎、重野謙次郎の入会は拒絶するのだとしている）。朝倉、田口、井上、重野、大河内が、壬寅会とは別の会派を結成するということはなかった。結成できなかったのかも知れない。そもそも、鉄道国有化を志向していた井上、重野と、これに反対であった田口とでは、志向が異なる（井上らは少なくともこの点では積極財政志向であり、田口は元来消極財政志向であった）。中立倶楽部では田口と井上が同居していたが、基本的に拘束のない中立会派であったとしても、所属を共にするのは不自然なことである。
新会派の結成に動いていたとされる議員の顔ぶれが報道ごとに異なること、報道で名が挙がりながら参加しなかった議員が一定数いたことは、無所属議員による、まとまった会派の結成が難航したことを示している。その原因は上で見た通り、第１次桂内閣寄りの議員との、（薩長閥）政府寄りの性格を持ち得る会派の結成を、避けようとする議員が多かったからだ。壬寅会の結成に参加した議員を見ると、桑原政以外は皆初当選であった。初めて衆議院議員となり、かつ会派を形成しようとした議員達に、厳正中立を志向する者が少なくなかったのだと考えられる。桑原は第５回総選挙後、衆議院解散までの１ヶ月ほど議会を経験したに過ぎないが、吏党系を刷新しようとする国憲党構想に関わった人物の１人として報じられたことがある（第６章補足～吏党刷新、帝国党への道～参照）。第５回総選挙後は山下倶楽部に属し、地租増徴案については賛成に投じている（衆議院事務局編『帝国議会衆議院議事速記録』一三３１５～３１６頁）。第８回総選挙後の動きを見ても、当初より薩長閥政府寄りであった可能性が高い。それにもかかわらず壬寅会に参加した理由、そして他の参加者から忌避されなかった理由は分からない。壬寅会に所属していた議員達を見ると、弁護士や医師もいたが、同派は実業家中心の会派であったといえる（『中小会派の議員一覧』第７回総選挙参照）。井上角五郎らは無所属に留まったのだが、壬寅会の結成後も、会派の結成をあきらめなかったようである。壬寅会の結成から１ヶ月半近く後の１９０２年１１月１９日付の萬朝報によれば、朝倉外茂鉄、森肇、井上角五郎、重野謙二郎らは中立団体の組織を計画した。繰り返しとなるが、井上、重野は、第１次桂内閣と通じていたために立憲政友会を除名されていた。また井上は第１回総選挙後に、（土佐派と同じく）薩長閥政府に寄って立憲自由党を離党し、薩長閥政府寄りの議員の取りまとめに動いたことがあった（第１章⑥参照）。萬朝報の報道が本当であれば、彼らは壬寅会とは別の、第１次桂内閣寄りの中立会派の結成を計画していたことになる。そして当初はやはり、壬寅会となる会派を、第１次桂内閣寄りの会派にしようとしていたのだろうから、いずれも実現しなかったということになる。一方で壬寅会は、結成時の１８名から、新たな入会者を得て２８にまで、議席を増やしていった。