帝国党と甲辰倶楽部は、衆議院の議席を会派別とすることに反対していた。彼らは、議席を会派別にするのならば、大政党が委員を独占するために有利に働いていた、部も、会派別となった議席に準ずるべきだとした（『帝国議会衆議院委員会議録』明治篇三二１１１頁－甲辰倶楽部の小河源一の質問だが、もし議席順に部に分けていくとすると、例えば全員が立憲政友会の部が多くできる一方、２大政党の議員が１人もいない部もでき得る－）。部は抽選という、会派を無視する方法で決められ、これに基づいて議会が運営されていたのだから、議席の会派別への変更を議会の発展、政党政治への前進のための策だと捉えるならば、当然ながら部も廃止するべきであった。しかし抽選で部に割り振ると、それぞれの部で、当時組んでいた２大政党の議員が多数派になる確率がとても高い。つまり２大政党が、各部で主導権を握れる。この、自らに有利な制度を、２大政党は温存させたわけである（部は廃止こそされないものの、衆議院の運営が会派中心となり、特に第２３議会以降常任委員会委員を、各会派の議席数に応じて比例配分するようになると、形式的なものとなり、つまり大政党にとってのメリットも失われた）。２大政党はまた、数の力で、増税法案に関する特別委員会の委員を、議長の指名ではなく各部で選挙することにさせた。有志会の島田三郎、甲辰倶楽部の小河源一は、本会議で反対の立場から発言をしている（『帝国議会衆議院議事速記録』二〇１３～１５頁）。前山亮吉氏の述べる通り（前山亮吉「甲辰倶楽部と日露戦時議会」１１８頁）、衆議院の過半数を失っていた立憲政友会と、議席数が結成時より減っていた憲政本党の、影響力を維持しようとする思惑が一致したのだと言える。簡潔に言えば、自由党系は主導権の維持、改進党系は、自由党系の分裂を生かした地位の回復が狙いであったと言える。前山氏が紹介している（同１１８頁）通り、第９回総選挙後の３月１３日付の原敬の日記（『原敬日記』第２巻続篇１５０頁）には、桂首相が衆議院各派の代表者と会見しようとしていたのを、原が２大政党のみを先にし、他を後にさせたことが記されている。このことにも、当時の２大政党の考えがよく表れている。
これら動きは、２大政党によるカルテルの形成のように見える。確かに衆議院ではそうだ。しかし当時の２大政党、優位政党は、現在のそれとは違う。当時の２大政党の標的は、帝国党、会派自由党、甲辰倶楽部という、第１次桂内閣支持派、同内閣寄りの勢力であった。つまり、強い勢力が弱い勢力を排除したとは、安易には言えない。衆議院の中だけを見れば強者による弱者の排除であっても、政界全体を見れば、政党内閣を（再び）実現させるため、あるいは、第４次伊藤内閣よりも政党中心の色がより強い内閣をつくるための、やや弱い方の勢力の、足場作りであった。議席が会派ごとになれば、各会派の議員がバラバラに、他の会派の議員の近くに座る場合よりも、薩長閥（山県－桂系）による切崩しを防ぎやすいということもあったと考えらえる。２大政党には共に、第１次桂内閣の切崩しに悩まされた経験があった。議席が会派ごととなれば、これを脱した議員の席は直ちにではなくても変更されなければならず、会派の出入りは、以前よりも大ごとになる。また、中立会派と無所属については、異なる立場の議員同士が近くに座る状態が残ることとなり、彼らに、自らと近い会派への移動、参加を促す効果もあったと考えられる。これも、２大政党と無名倶楽部が野党、帝国党、会派自由党、甲辰倶楽部（建前は中立会派）が準野党～準与党という状況では、２大政党に有利な変更であったのは確かである（一方で各部では、多数派である２大政党が、少数派の中立派などを引き抜きやすい状況であったと考えられる）。
１９０４年１２月４日付の東京朝日新聞によれば、会派自由党の山本幸彦、有志会の福地源一郎、甲辰倶楽部の佐藤虎次郎が状況を改めようと、立憲政友会の院内総理であった大岡育三、松田正久と会談したが、同党が憲政本党と交渉の上、彼らの要求を容れなかったことで、小党と無所属が、懇親会を開いて対抗策を講じるべく奔走した。記事からは、小党にあたる具体的な勢力が何かは分からないが、第１次桂内閣寄りの帝国党、会派自由党、甲辰倶楽部が、上に見た２大政党の振る舞いによって、関係を深めていくこととなったことは、後述するその後の展開を見ても、確かだ。そういう意味では、２大政党の方法はマイナスに作用したように見えるが、衆議院はその前にすでに、２大政党＋同志研究会系（自由党系＋改進党系＋新民党）とその他（吏党系＋中立実業派＋会派自由党）に二分されていたから、そのようなことはないと言える。その他の勢力が関係を深めたと言っても、それを長期的かつ実のあるものにするのは難しかった。