ボキャブラリーを増やすことと慣用句表現を覚えることだと思います。
わからない単語や慣用句が出てくると、話していても意味が分からなくなり、会話が成り立たなくなります。日常会話だと、簡単な動詞(take, makeなど)+前置詞・副詞の組合せの慣用句で意味が変わってくるので大変です。
あとは、スピードアップのために、英語を日本語に訳さずに、日本語を英語に訳さずに、英語のまま理解して英語のまま話すことです。このためにはヒアリングであれ、リーディングであれ、とにかく量をこなすことです。
英語圏で生活するのが手っ取り早いですが、日本でできることは以上のことだと思います。