Auf welchen Wegen KI eine Website liest

Die Hersteller unterscheiden drei Arten von Abrufen, und sie nennen sie in ihren Hilfeseiten getrennt. Sammeln für das Training: Ein Crawler liest Seiten, die in künftige Modelle einfließen können (bei OpenAI „GPTBot“, bei Anthropic „ClaudeBot“). Suchindex: Ein Crawler baut den Index, aus dem ein Assistent bei Suchanfragen schöpft („OAI-SearchBot“, „Claude-SearchBot“). Abruf auf Nutzerfrage: Ein Mensch fragt, und der Assistent holt in diesem Moment eine Seite („ChatGPT-User“, „Claude-User“).

Gesteuert wird das über die Datei robots.txt. Zwei Feinheiten stehen in den Herstellerseiten selbst: OpenAI schreibt zu Abrufen auf Nutzerfrage, dass dafür die robots.txt-Regeln womöglich nicht gelten, weil ein Mensch sie auslöst. Und Googles Kennung „Google-Extended“ ist kein eigener Crawler, sondern ein Schalter in der robots.txt für die Nutzung in Gemini; laut Google beeinflusst er weder die Aufnahme in die Google-Suche noch das Ranking.

Quellen: developers.openai.com/api/docs/bots, support.claude.com/en/articles/8896518, developers.google.com/search/docs/crawling-indexing/google-common-crawlers — abgerufen 24.10.2026.

Die sechs Bausteine, die PontoIt einsetzt

Alle sechs entstehen aus den veröffentlichten Seiten selbst. Es gibt keine zweite Datenhaltung: Was auf einer Seite steht, steht auch in den Schnittstellen, und eine geänderte Seite ändert alle Ausgaben mit. Alles ist nur lesend; über keinen dieser Wege lässt sich etwas eintragen oder ändern.

1. Die Freigabe in der robots.txt. Die robots.txt von PontoIt sperrt nur den Verwaltungsbereich von WordPress. Alle Crawler, auch die der KI-Hersteller, dürfen die Seiten lesen. Das ist der einfachste Baustein und der, den eine Firmenwebsite zuerst prüfen sollte: Wer hier sperrt, braucht die übrigen fünf nicht.

2. Jede Seite als reiner Text. Hängt man an eine Adresse ?format=markdown an, liefert PontoIt dieselbe Seite als Markdown: Überschriften, Absätze, Listen, Links, ohne Menüs und Gestaltung. Beispiel: pontoit.de/ki-agentur/?format=markdown. Die Idee stammt aus dem llms.txt-Vorschlag, der eine Markdown-Fassung unter der Seitenadresse mit der Endung .md vorsieht; wir nutzen den Parameter, weil er auf unserer Plattform zuverlässiger läuft.

3. Die Datei llms.txt. Unter pontoit.de/llms.txt liegt ein Inhaltsverzeichnis für Sprachmodelle: was PontoIt ist, nach welchen Regeln die Liste entsteht, und je Seite ein Link mit einem Satz Beschreibung. Dazu llms-full.txt mit allen Seiten als Text in einer Datei. Wichtig zur Einordnung: llms.txt ist ein Vorschlag von Jeremy Howard vom 3. September 2024, kein beschlossener Standard; Pflicht ist darin nur eine Überschrift mit dem Namen der Website. Google schreibt in seinem Leitfaden zur KI-Suche, dass die Google-Suche solche Dateien nicht nutzt, es aber völlig in Ordnung sei, sie für andere Dienste anzulegen.

4. Strukturierte Daten im Seitenkopf. Jede Seite trägt unsichtbare Angaben nach schema.org im Format JSON-LD: wer die Seite herausgibt, wo sie im Aufbau der Website steht (Brotkrumen), und auf Verzeichnisseiten die Liste der Anbieter mit Name, Website, Sitz und dem Preisfeld im Wortlaut. Die Liste ist ausdrücklich als ungeordnet ausgezeichnet, weil PontoIt keine Rangfolge vergibt. Bewusst fehlen Sterne, Bewertungen und als Zahl herausgelöste Preise; Google zeigt für diese Daten deshalb keine Preis- oder Sternehervorhebung. Laut Google sind strukturierte Daten für die KI-Suche keine Voraussetzung, für die übrige Suche aber weiterhin nützlich.

5. Eine Programmierschnittstelle (REST-API). Unter pontoit.de/wp-json/pontoit/v1/ lassen sich Kategorien, einzelne Einträge und eine Suche über alle Anbieter als JSON abrufen, ohne Anmeldung. Jeder Eintrag nennt seinen Prüfstand und die Seite, von der er stammt. Leere Angaben bleiben leer; es wird nichts ergänzt oder geschätzt. Eine maschinenlesbare Beschreibung liegt unter …/openapi.json.

6. Ein MCP-Server. Über das Model Context Protocol kann ein Agent das Verzeichnis direkt befragen, statt Seiten zu lesen: Adresse https://pontoit.de/wp-json/pontoit/v1/mcp, sechs Werkzeuge (darunter Kategorien, Suche, ein Anbieter über alle Kategorien, eine Seite als Text), alle als nur lesend gekennzeichnet, ohne Anmeldung. Der Server spricht die Protokollfassungen 2025-03-26 bis 2025-11-25. Was ein MCP-Server ist und wer bei Werkzeugaufrufen was freigibt, erklärt die Seite Werkzeuge und Schnittstellen.

Quellen: llmstxt.org (Vorschlag vom 03.09.2024), developers.google.com/search/docs/fundamentals/ai-optimization-guide (Stand 10.07.2026), modelcontextprotocol.io — abgerufen 24.10.2026. Angaben zu PontoIt: eigener Aufbau, live seit 24.10.2026.

Was das nicht leistet

Keine Garantie, genannt zu werden. Ob ein Assistent PontoIt oder eine andere Website in einer Antwort nennt, entscheidet der Hersteller. Keiner der hier gelesenen Hersteller sagt zu, eine llms.txt, einen MCP-Server oder strukturierte Daten bevorzugt zu behandeln. Google zählt in seinem Leitfaden KI-eigene Kniffe wie gesonderte Textdateien nicht zu den empfohlenen Maßnahmen und verweist auf die üblichen Grundlagen der Suchmaschinenoptimierung.

Keine Kontrolle über das Ergebnis. Der MCP-Server gibt jedem Agenten einen festen Hinweis mit: Die Liste ist ungeordnet, Prüfstand und Quelle sind zu nennen. Ob ein Agent sich daran hält, liegt nicht bei uns.

Nicht alles ist von außen prüfbar. Unser Hoster weist Abrufe ab, die sich als KI-Crawler ausgeben, aber nicht von deren Adressen kommen. Das schützt vor gefälschten Crawlern. Ob die echten Crawler durchkommen, lässt sich von außen nicht direkt sehen. Wir messen deshalb selbst, ob und wie PontoIt in Antworten von KI-Assistenten vorkommt, und tragen das Ergebnis auf dieser Seite nach.

Selbst ausprobieren

• Inhaltsverzeichnis für Sprachmodelle: pontoit.de/llms.txt
• Eine Seite als Text: an jede PontoIt-Adresse ?format=markdown anhängen
• Strukturierte Daten ansehen: eine Seitenadresse im Prüfwerkzeug von schema.org (validator.schema.org) eingeben
• Anbieter suchen per API: pontoit.de/wp-json/pontoit/v1/anbieter?suche=n8n
• MCP-Server in einen Assistenten einbinden: In Anwendungen, die eigene MCP-Server erlauben, die Adresse https://pontoit.de/wp-json/pontoit/v1/mcp als Server vom Typ „Streamable HTTP“ eintragen, ohne Anmeldung. Wo das Menü dafür liegt, steht in der Hilfe der jeweiligen Anwendung; wir haben den Server mit dem offiziellen MCP-Client geprüft.

Was davon für Ihre Website passt: fünf Fragen

Nicht jede Website braucht alle sechs Bausteine. Die Reihenfolge der Fragen folgt dem Aufwand, vom kleinsten zum größten.

1. Lässt Ihre robots.txt die Crawler zu, die Sie zulassen wollen? Rufen Sie ihre-domain.de/robots.txt auf. Steht dort ein Disallow für einen der oben genannten Namen, ist dieser Weg zu. Ob das gewollt ist, ist Ihre Entscheidung: Training, Suche und Abruf lassen sich getrennt steuern.
2. Steht das Wichtige als Text auf der Seite? Leistungen, Ort, Ansprechpartner, Preise oder Preisrahmen. Was nur in Bildern, PDFs oder erst nach einem Klick erscheint, ist für einen Abruf schwerer zu lesen als ein Absatz Text.
3. Hat Ihre Website strukturierte Daten? Für eine Firma mindestens Name, Adresse und Website nach schema.org. Ob Ihre Website sie schon hat, zeigt das Prüfwerkzeug von schema.org oben.
4. Lohnt eine llms.txt? Der Aufwand ist klein: eine Textdatei mit einer Überschrift und Links auf die wichtigsten Seiten. Die Google-Suche nutzt sie nach eigener Aussage nicht; ob ein anderer Dienst sie auswertet, haben wir für diese Seite nicht geprüft.
5. Brauchen Sie eine Schnittstelle oder einen MCP-Server? Sinnvoll ist das dort, wo es viele gleich gebaute Daten gibt, die jemand gezielt abfragen will: ein Katalog, ein Verzeichnis, Verfügbarkeiten, Termine. Hat Ihre Website nur wenige Seiten, liefert eine Schnittstelle kaum etwas, das nicht schon als Text auf den Seiten steht.

Wer eine Aufgabe für einen Agenten beschreiben will, findet die passenden Felder in den Aufgabenvorlagen; die Fachwörter dieser Seite erklärt Begriffe. Wer die Umsetzung nicht selbst machen will, findet Dienstleister im Anbieterverzeichnis, etwa auf KI-Agentur.

---

Stand 24. Oktober 2026. Angaben zu OpenAI, Anthropic und Google nach deren Dokumentation, abgerufen am 24.10.2026; Angaben zu llms.txt nach dem Vorschlag auf llmstxt.org. Angaben zu PontoIt beschreiben unseren eigenen Aufbau. Keine Rechtsberatung. Diese Seite ist redaktionell und unbezahlt; es gibt hier keine Anzeigen und keine Anbieterplatzierungen.

Weitere Seiten der Bibliothek: Agenten-Bibliothek · Aufgabenvorlagen · Was ein Agent kann und was er darf · Regeln auf einen Blick · Modelle im Überblick · Werkzeuge und Schnittstellen · Begriffe