Mamy teraz dobrą reprezentację pojedynczych słów w izolacji, ale język składa się z uporządkowanej sekwencji słów, w której ważny jest kontekst otaczających słów. W przypadku prostych zadań, takich jak znakowanie części mowy, wystarczającego kontekstu zapewnia zwykle małe okno o stałej wielkości, składające się z około pięciu słów. Bardziej złożone zadania, takie jak odpowiedzi na pytania lub rozwiązania referencyjne, mogą wymagać kilkudziesięciu słów jako kontekstu. Na przykład w zdaniu „Eduardo powiedział mi, że Miguel jest bardzo chory, więc zabrałem go do szpitala”, wiedząc, że odnosi się on do Miguela, a nie Eduardo, wymaga kontekstu, który obejmuje od pierwszego do ostatniego słowa 14-wyrazowego zdania .