Sieci neuronowe stanowią rdzeń głębokiego uczenia się. Ich nazwa i struktura są inspirowane ludzkim mózgiem i naśladują sposób, w jaki neurony biologiczne przekazują sobie nawzajem sygnały. Sieć neuronowa to sieć lub obwód neuronów pracujących w tandemie. Innowacje w sieciach neuronowych mogą poprawić wydajność modelu w przypadku dalszych zadań, dlatego naukowcy zajmujący się sztuczną inteligencją stale pracują nad nowymi architekturami sieci neuronowych. Jeden z takich wynalazków zrewolucjonizował NLP, jakie znamy dzisiaj: transformator. Transformator to model uczenia maszynowego, który przetwarza całą sekwencję tekstu na raz (zamiast pojedynczych słów) i ma potężny mechanizm pozwalający zrozumieć powiązania między słowami.