機械学習コンペではアンサンブル学習を利用されることが多いらしい。アンサンブル学習は別々に学習した分類機を組み合わせて、新たな分類結果を作るというもの。
下記の記事が、なぜアンサンブル学習をすると精度があがるかを例示してくれていた。