Para criar uma lista de palavras com pares ou conjuntos de palavras (n-grams) como
OF THE
IN THE END
ONCE UPON A TIME
etc. você vai precisar criar um arquivo index. Esse arquivo basicamente sabe a posição de cada palavra separada em seu corpus.
Veja também: criando uma lista de termos compostos