Agentic Web & Protokolle

Kurz gefasst — Das „Agentic Web” ist die Schicht, in der KI-Agenten im Auftrag von Nutzern handeln und transagieren. Ende 2025 hat eine Handvoll Protokolle begonnen, das zu institutionalisieren — aber nur eines ist ein echter Standard: MCP (jetzt unter der Linux Foundation). Alles andere — A2A, die Commerce-Protokolle, WebMCP, NLWeb, Web Bot Auth — ist herstellergeführter Entwurf oder Proposal, nicht ratifiziert. Für SEO ist die Konsequenz nüchtern: sichtbar, crawlbar und sauber strukturiert bleiben — nicht neue „AI-Dateien” basteln. Wie man Agenten selbst über API/CLI einsetzt, steht in Agentic & API-gestütztes SEO (Kap. 21); welche Werkzeuge das können, in der Tool-Landschaft (Kap. 22). Hier geht es um die Protokoll- und Infrastruktur-Ebene und um die Frage, wie eine Website sich auf Agenten-Traffic vorbereitet.

Was „Agentic Web” meint — und wo Realität auf Vision trifft

Das agentische Web beschreibt einen Übergang vom Menschen-an-der-Maus zum Agenten-im-Auftrag. Ein Agent recherchiert, vergleicht, bucht oder kauft, während der Mensch nur das Ziel vorgibt. „B2A” (Business-to-Agent) ist das vendor-geprägte Synonym für die Geschäftslogik dahinter. R13

Lange war das Vision. Ende 2025 wurde es Infrastruktur: Anthropic spendete MCP am 9. Dezember 2025 an die neu gegründete Agentic AI Foundation (ein „directed fund under the Linux Foundation”, co-gegründet von Anthropic, Block und OpenAI) — wenige Tage später kündigte Google am 10./11. Dezember 2025 eigene managed MCP-Server für Maps, BigQuery, Compute Engine und GKE an (Preview; GA im Mai 2026). Damit ist der Anschluss von Diensten an das Agentic Web kein Versprechen mehr, sondern läuft über Standardgremien und Cloud-Plattformen. R13

Die Protokoll-Landschaft auf einen Blick

Die folgende Übersicht ordnet die Protokolle nach Zweck und Reife. Die Spalte Agenten-Schnittstelle nutzt den HTTP -Tag (Ampel = programmatisch nutzbar, Chips = Transport); fast alle sind HTTP-/JSON-basiert und damit für Agenten ansprechbar — die offene Frage ist nicht ob, sondern wie reif. R13

Protokoll	Träger	Zweck	Reife [Stand Mitte 2026]	Agenten-Schnittstelle
MCP	Anthropic → AAIF / Linux Foundation	Agent ↔ Tools & Daten	De-facto-Standard (Spec 2025-11-25)	MCP
A2A	Google → Linux Foundation	Agent ↔ Agent (Delegation)	Linux-Foundation-Projekt, jung	HTTP
AP2	Google (60+ Partner)	Agenten-Zahlungen (Mandates)	Hersteller-Proposal, jung	HTTP
ACP	OpenAI + Stripe	Agenten-Checkout (ChatGPT)	Hersteller-Proposal, Beta	HTTP
UCP	Google + Shopify	Commerce-Lebenszyklus (über AP2)	Hersteller-Proposal, sehr jung	HTTP
WebMCP	Google + Microsoft	Browser-Tools für In-Browser-Agenten	W3C-CG-Entwurf, experimentell
NLWeb	Microsoft	NL-Schnittstelle über Strukturdaten	Open-Source-Proposal, jung	HTTPMCP
Web Bot Auth	Cloudflare (IETF-Draft)	Bot-Identität (auf RFC 9421)	IETF-Entwurf (kein RFC)	HTTP
AGENTS.md	OpenAI → AAIF	Agenten-Anweisungen im Repo	Konvention, breit genutzt
IndexNow	Bing + Yandex	Sofort-Indexierung (Push)	offenes Protokoll (ohne Google)	HTTP

MCP — der einzige Standard, und seine Rolle

MCP verbindet einen Agenten mit Tools und Datenquellen — der „USB-C-Stecker” der Agentenwelt. Seine Spezifikation läuft in datierten Revisionen (aktuell 2025-11-25; die viel diskutierte 2026-07-28 ist Stand Mitte 2026 nur ein Release Candidate), der Remote-Transport ist seit März 2025 Streamable HTTP. Für SEO zählt vor allem die Wofür-Frage, die Kap. 21 im Detail beantwortet — kurz: stark für die interaktive Discovery im Chat, tokenlastig für den unbeaufsichtigten Massen-Pull. R13

A2A — Agenten reden mit Agenten

A2A (Agent2Agent) regelt die Delegation zwischen Agenten verschiedener Hersteller (Discovery über „Agent Cards”, Aufgabenübergabe), während MCP den Agenten an Werkzeuge bindet. Google kündigte es im April 2025 an (50+ Partner) und übergab es im Juni 2025 als vendor-neutrales Projekt an die Linux Foundation. Google positioniert A2A ausdrücklich komplementär zu MCP — nicht als Konkurrenz. R13

AP2 · ACP · UCP — die Commerce-Protokolle

Hier verläuft die schärfste Konkurrenzlinie des agentischen Webs — zwei Lager mit überlappendem Zweck:

• AP2 (Agent Payments Protocol) (Google, Sept. 2025, 60+ Partner) ist die Zahlungsschicht. Agenten weisen die Nutzer-Autorisierung über kryptografisch signierte Mandate nach (Intent, Cart, Payment) und setzt auf A2A/MCP auf.
• ACP (Agentic Commerce Protocol) (OpenAI + Stripe, 29. Sept. 2025) ist die Checkout-Schicht, die ChatGPTs „Instant Checkout” antreibt.
• UCP (Universal Commerce Protocol) (Google + Shopify, 11. Jan. 2026) ist die Commerce-Lebenszyklus-Schicht über AP2 — Discovery bis Post-Purchase.

Praktisch heißt das: Google-Lager (UCP + AP2, Shopify als Partner) gegen OpenAI/Stripe-Lager (ACP); Stripe spielt in beiden. R13

WebMCP & NLWeb — das agentische Web im Browser und über Strukturdaten

WebMCP ist eine browser-native API, mit der eine Website eigene Funktionen als Tools für In-Browser-Agenten registriert — konzeptionell ein „In-Page-MCP-Server”. Es ist ein gemeinsamer Vorschlag von Google und Microsoft, inkubiert als Draft-Report der W3C Web Machine Learning Community Group — ausdrücklich kein W3C-Standard und nicht auf dem Standards Track. Ein Origin Trial läuft ab Chrome 149 (Mitte 2026); selbst der API-Name ist noch im Fluss (navigator.modelContext bzw. document.modelContext). R13

NLWeb (Microsoft, vorgestellt auf der Build 2025) verfolgt den umgekehrten Weg: Es legt eine natürlichsprachige Schnittstelle über die bereits vorhandenen Strukturdaten einer Site (Schema.org, RSS) — und jede NLWeb-Instanz ist zugleich ein MCP-Server. Beides sind Frühphasen-Projekte; die griffige Rede vom „HTML des agentischen Webs” ist Marketing, kein technischer Status. R13

Web Bot Auth & AGENTS.md — Identität und Anweisung

Web Bot Auth löst ein altes Problem: Der User-Agent-String ist fälschbar. Stattdessen signiert ein Bot seine HTTP-Anfragen kryptografisch, und der Server verifiziert die Signatur — technisch auf Basis von RFC 9421 (HTTP Message Signatures, einem echten IETF-Standard von Februar 2024). Web Bot Auth selbst ist ein Cloudflare-geführter IETF-Entwurf (noch kein RFC); seine erste „Signed Agents”-Kohorte (Aug. 2025) umfasste u. a. ChatGPT Agent und Goose. R13

AGENTS.md schließlich ist keine Web-Protokollschicht, sondern eine Repo-interne Konvention — ein „README für Agenten” für Coding-Tools, seit Dezember 2025 ebenfalls unter dem Dach der Agentic AI Foundation. Für die Website ist es irrelevant; für die agentische Arbeitsweise (Kap. 21) ist es das Pendant zur Projekt-Instruktion. R13

Wie eine Website agenten-freundlich wird

Hier ist die gute Nachricht für SEO: Es braucht keine Sonderschicht. Googles Leitfaden „Build agent-friendly websites” (web.dev, Stand 1. April 2026) beschreibt, dass Agenten eine Seite über drei Signale wahrnehmen — und alle drei sind bereits die Währung von gutem technischem SEO und Barrierefreiheit: R13

• Screenshot / Vision — der Agent fotografiert die gerenderte Seite und liest sie mit einem Vision-Modell.
• DOM / HTML — er analysiert das Markup, die Verschachtelung und die logische Hierarchie.
• Accessibility-Tree — die browser-native Struktur, die das DOM auf Rollen, Namen und Zustände interaktiver Elemente verdichtet; der token-effizienteste der drei Wege.

Wer also semantisches HTML schreibt, Formularfelder mit <label> verknüpft, eine stabile Layout (geringes CLS) liefert und saubere Entitäten/Strukturdaten pflegt, baut zugleich die beste Grundlage für Agenten. R13

Ein neues, aber bezeichnendes Werkzeug ist der Lighthouse „Agentic Browsing”-Audit (seit Lighthouse 13.3, 7. Mai 2026): Er prüft Accessibility-Tree, Layout-Stabilität, WebMCP-Registrierung und llms.txt — vergibt aber bewusst kein 0–100-Score und ist offiziell „experimental … based on proposed standards”. Genau das ist die ehrliche Selbsteinschätzung der gesamten Schicht. R13

AI-Crawler & Identität — steuern ohne zu cloaken

Ob eine Site überhaupt von Agenten und KI-Systemen erfasst wird, entscheidet sich an den AI-Crawlern. Ihre Tokens sind herstellerdefiniert (kein Standard), beruhen aber alle auf dem Robots-Exclusion-Protocol (RFC 9309). Die Steuerung erfolgt auf zwei Ebenen: kooperative Bots über robots.txt, nicht-kooperative über WAF/Edge mit IP-Verifikation. R11

Crawler / Token	Betreiber	Zweck	Steuerbar via
GPTBot · OAI-SearchBot	OpenAI	Training · ChatGPT-Suche	robots.txt (getrennt)
ClaudeBot · Claude-SearchBot	Anthropic	Training · Suche	robots.txt (auch nutzerinitiiert)
PerplexityBot · Perplexity-User	Perplexity	Suche · Live-Abruf	robots.txt; Perplexity-User nur via WAF
Google-Extended	Google	Gemini-Training/Grounding	nur robots.txt (kein eigener User-Agent)
CCBot · Bytespider	Common Crawl · ByteDance	offenes Archiv · Training	robots.txt; Bytespider faktisch WAF

Die nächste Stufe ist Identität statt bloßer Steuerung: Web Bot Auth erlaubt verifizierten Agenten, sich kryptografisch auszuweisen — so kann ein Server legitimen Agenten-Traffic gezielt zulassen, statt pauschal zu blocken. Das ist die Gegenrichtung zur alten, spoofbaren User-Agent-Logik. R13

Sofort-Indexierung: IndexNow — mit einem Loch namens Google

IndexNow ist kein Werkzeug, sondern ein offenes HTTP-Push-Protokoll: Eine Site meldet neue, geänderte oder gelöschte URLs proaktiv (Key-Datei im Root, GET oder Batch-POST bis 10.000 URLs), und eine Submission wird an alle Teilnehmer geteilt — ideal agentisch, ohne Account oder SDK.

HTTP R13

Das größere Bild

Die Protokoll-Schicht des agentischen Webs ist real, aber asymmetrisch reif: ein Standard (MCP) auf festem Fundament (RFC 9421), darüber eine Wolke aus jungen, vendor-geführten Entwürfen, die sich teils noch widersprechen und deren Adoption überwiegend aus Ankündigungen besteht. Wer hier seriös arbeitet, datiert jede Angabe, trennt Standard von Proposal und Behauptung von Beleg — genau die Haltung, die dieses Nachschlagewerk trägt.

Für die SEO-Praxis bleibt die Botschaft erfreulich konstant: Die beste Vorbereitung auf Agenten-Traffic ist kein Sonderprojekt, sondern exzellentes technisches SEO — sichtbar, schnell, semantisch sauber, mit gepflegten Entitäten. llms.txt und parallele „AI-Dateien” gehören nicht dazu; sie werden von den großen Engines nicht genutzt. Und die Versuchung, generative Antworten zu manipulieren, ist seit Mai 2026 ausdrücklich von Googles Spam-Policies erfasst. Wie man Agenten als Werkzeug einsetzt, zeigt Kap. 21; welche Werkzeuge das beherrschen, Kap. 22. Dieses Kapitel hält fest, worauf sie alle aufsetzen — und wie wenig davon Stand Mitte 2026 schon Standard ist.