Agent-Flutter: Wenn KI deine App übernimmt (und das ist gut so!)

Es ist 22:15 Uhr, die Familie schläft, das erste Bier ist offen und ich sitze wieder vor dem Code. So fangen bei mir die besten Projekte an. Diesmal war's aber anders – statt wieder das x-te CRUD-Interface zu bauen, hab ich mich gefragt: "Was wäre, wenn meine Flutter-App selbst denken könnte?"

Die Idee kam beim Debugging

Ihr kennt das: Da debuggt man wieder mal eine komplexe User-Journey durch fünf Screens, tippt sich die Finger wund und denkt "Das könnte doch ein Bot machen". Nur dass Bots normalerweise dumm sind und nur vordefinierte Aktionen abspulen können.

Aber was, wenn ein AI-Agent wirklich verstehen würde, was auf dem Screen passiert? Was, wenn er eigenständig entscheiden könnte: "Ah, hier muss ich den Button tippen" oder "Moment, da fehlt noch ein Wert im Textfeld"?

Agent-Flutter ist geboren

Nach drei Wochen nächtlicher Programmier-Sessions steht jetzt das Framework: Agent-Flutter. Es verbindet Flutter-Apps direkt mit AI-Agents (GPT-4, Claude & Co.) und lässt sie echte User-Journeys durchführen.

// So einfach kann's sein:
final agent = Agent(
  model: OpenAIModel(apiKey: 'dein-key'),
  goal: 'Melde dich an und bestelle eine Pizza'
);

await agent.run(context);

Der Agent sieht den aktuellen Screen, versteht was da ist, entscheidet was zu tun ist und führt die Aktion aus. Ohne dass ich ihm jeden einzelnen Schritt vorgeben muss.

Warum gibt's sowas noch nicht?

Ehrlich gesagt: Keine Ahnung. Mobile Testing-Tools sind entweder sackteuer oder total umständlich. Web-Scraping mit AI gibt's schon länger, aber für native Mobile Apps? Fehlanzeige.

Vielleicht war's auch einfach Zeit. LLMs sind endlich gut genug, Flutter hat ein solides Widget-Testing-Framework und ich hatte genug Bier im Kühlschrank für die langen Nächte.

Was geht schon (und was nicht)

Funktioniert:

Agents verstehen UI-Layouts und finden Buttons, TextFields, etc.
Komplexe Multi-Screen-Flows ohne Skripting
Integration mit OpenAI, Anthropic und lokalen Modellen
Echte Flutter-Widget-Tests mit AI-Power

Work in Progress:

Performance (AI-Calls dauern halt)
Edge Cases (Agents sind manchmal... kreativ)
Docs (klassisches Solo-Dev-Problem)

Der ehrliche Teil

Klar, das Ding ist noch Alpha. Manchmal macht der Agent komische Sachen, manchmal crasht's und die API könnte schöner sein. Aber es funktioniert. Ich teste damit schon produktive Apps und spare mir Stunden an manueller Klickerei.

Plus: Es macht einfach Spaß zu sehen, wie ein Agent durch deine App navigiert und dabei intelligente Entscheidungen trifft.

Open Source, weil...

Das Projekt liegt auf GitHub: https://github.com/moinsen-dev/agent-flutter

Warum Open Source? Weil ich als 40-jähriger Dev genug proprietäre Tools gesehen hab, die nach zwei Jahren wieder verschwinden. Gute Ideen gehören der Community.

Frage an euch: Welche nervigen Test- oder Demo-Scenarios würdet ihr gerne an einen AI-Agent abgeben? Lasst es mich in den Issues wissen – vielleicht wird's das nächste Feature!