Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na mniejsze podzadania i proponuje kolejność ich wykonania. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozkłada się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta zdolność wyróżnia agenta od prostego skryptu, który odtwarza jedynie z góry ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm ewaluacji własnych działań. Odpowiednio skonstruowany agent potrafi rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i wrócić do poprzedniego etapu, by spróbować innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej oddaniem.