IETF AIPREF — AI 학습 거부 신호를 표준화하려는 시도의 현재

2026-09-02 · AI & 바이브코딩

💡 3줄 요약

- IETF AIPREF 워킹그룹은 2025년 1월 7일 IESG 승인으로 설립되었고, 콘텐츠의 AI 이용 선호를 기계적으로 표현하는 어휘와 그 부착 방법을 표준화하려 한다.

- 핵심 드래프트 두 건은 2026년 8월 19일 각각 -07, -05 리비전이 제출된 상태이며, 어휘 드래프트는 본문에 "이 문서의 내용은 워킹그룹의 합의를 반영하지 않는다"고 스스로 명시하고 있다.

- 제안된 구조는 robots.txt의 Allow/Disallow가 수집을, 새 Content-Usage 규칙이 이용을 담당하는 2단계 분리다. 다만 표준화 완료 전이며 강제력은 명시적으로 범위 밖이다.

■ 1. robots.txt가 말할 수 없는 것

robots.txt를 규정한 문서는 RFC 9309(Robots Exclusion Protocol)이며 2022년 9월 발행된 표준화 트랙 문서다. 초록은 이 프로토콜의 목적을 "how content served by their services may be accessed, if at all, by automatic clients known as crawlers"라고 정의한다. 즉 접근(수집)의 허용 여부가 이 프로토콜이 다루는 전부다. 게다가 서론의 마지막 문장은 "These rules are not a form of access authorization"이라고 못 박는다. https://www.rfc-editor.org/rfc/rfc9309.txt

문제는 오늘날 사이트 운영자가 표현하고 싶은 것이 그보다 한 단계 뒤에 있다는 데 있다. 검색 색인에는 들어가되 모델 학습에는 쓰이지 않기를 바라는 것, 요약 생성에는 쓰이지 않기를 바라는 것 같은 요구는 "가져가도 되는가"가 아니라 "가져간 뒤 무엇에 쓸 것인가"에 관한 진술이다. RFC 9309에는 이를 담을 자리가 없다.

IETF 공식 블로그가 이 상황을 요약한 문장이 있다. "Right now, AI vendors use a confusing array of non-standard signals in the robots.txt file (defined by RFC 9309) and elsewhere to guide their crawling and training decisions. As a result, authors and publishers lose confidence that their preferences will be adhered to, and resort to measures like blocking their IP addresses." https://www.ietf.org/blog/aipref-wg/

■ 2. AIPREF 워킹그룹

정식 명칭은 AI Preferences, 약칭 aipref다. IETF의 Web and Internet Transport(WIT) 영역에 속하며 공동 의장은 Mark Nottingham과 Suresh Krishnan이다. 헌장 문서 charter-ietf-aipref-01은 2025년 1월 7일 IESG 승인을 받았다. https://datatracker.ietf.org/wg/aipref/about/

헌장이 정한 산출물은 세 가지다. 선호를 표현하는 어휘 문서, 그 선호를 IETF 정의 프로토콜·포맷에 부착하는 방법 문서, 그리고 복수의 선호 표현을 조정하는 방법이다. 반대로 명시적으로 범위 밖에 둔 것도 네 가지가 있다.

- 선호의 기술적 강제(Technical enforcement of preferences)

- 클라이언트·크롤러의 인증 또는 인가를 위한 응용 계층 프로토콜

- 콘텐츠 관련 선호의 레지스트리 구축

- AI 학습에 대한 감사와 투명성 조치

첫 항목이 특히 중요하다. 이 표준은 지켜지도록 만드는 장치가 아니다. 표현 수단을 정의할 뿐이며, 지킬지 말지는 수신자의 선택으로 남긴다는 것이 헌장 단계에서 이미 확정된 설계다.

■ 3. 어휘 드래프트 — 5개에서 2개로

어휘 문서는 draft-ietf-aipref-vocab이며 최신 리비전은 2026년 8월 19일 제출된 -07이다. 제목은 A Vocabulary For Expressing AI Usage Preferences, 분량은 13면이다. https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/

■ 유의사항 — 이 문서는 합의 문서가 아니다

드래프트 본문의 "Note to Readers"는 이렇게 적혀 있다. "this is a working document. Its contents DO NOT REFLECT CONSENSUS of the Working Group either in whole or part." 어휘를 정의하는 제3절과 제4절에도 각각 합의가 없다는 문구가 붙어 있다. 이 글에서 소개하는 어휘와 문법은 모두 잠정이며, 지금 사이트에 그대로 적용해야 할 규격이 아니다.

현행 -07이 정의하는 사용 카테고리는 두 개뿐이다.

search 범주에는 조건이 붙는다. 검색 결과에 원래 위치에 대한 직접 참조나 링크가 포함되어야 하고, 발췌문은 이용자가 결과의 관련성을 판단하는 데 도움을 주는 것이어야 한다. 그리고 드래프트는 명시적으로 적는다. "This category does not include the use of assets to generate summaries." 요약 생성은 search에 들어가지 않는다.

선호 값은 허용이 `y`, 거부가 `n`이며, 진술이 없는 카테고리는 모두 "unknown"으로 처리된다. 직렬화는 RFC 9651의 구조화 필드 딕셔너리를 쓰며 예시는 `train-ai=y, search=n` 형태다. 복수의 진술이 충돌하면 가장 제한적인 쪽이 적용된다. 드래프트 문언은 "This process ensures that the most restrictive preference applies"다.

주목할 것은 이 어휘가 줄어들어 온 경위다. 2025년 7월의 -02 리비전에는 `all`, `train-ai`, `train-genai`, `ai-use`, `search` 다섯 개가 있었다. 2025년 12월 -05에서 둘로 줄었고, `train-ai`의 카테고리 이름도 AI Training에서 Foundation Model Production으로, 다시 -06에서 AI Model Training으로 두 차례 바뀌었다.

축소의 배경은 워킹그룹 의장들이 2025년 10월 30일 공식 블로그에 직접 적었다. 9월에 워킹그룹 최종 검토를 붙였더니 예상 밖의 반응이 나왔다는 것이다. "several participants raised fundamental issues about the nature of the Internet-Drafts (I-Ds), forcing the group to reconsider its approach." 그때 제기된 관찰 가운데 하나가 이렇다. "AI is at its heart a technique, not a purpose." AI라는 기법 자체에 대해 선호를 표현하는 것은 파이썬이라는 언어나 연결 리스트라는 자료구조에 대해 선호를 표현하는 것과 비슷하다는 지적이었고, 그래서 초점을 기법이 아니라 처리의 목적으로 옮기게 되었다. https://www.ietf.org/blog/ai-pref-update/

■ 4. 부착 드래프트 — Content-Usage

부착 문서는 draft-ietf-aipref-attach이며 최신 리비전은 2026년 8월 19일의 -05다. 제목은 Associating AI Usage Preferences with Content in HTTP이고, 의도된 지위에 "Updates: 9309 (if approved)"가 붙어 있다. 승인되면 RFC 9309을 갱신하는 문서라는 뜻이다. https://datatracker.ietf.org/doc/draft-ietf-aipref-attach/

부착 방법은 두 가지다.

첫째, HTTP 응답 헤더 필드 `Content-Usage`다. 구조화 필드 딕셔너리 타입이며 예시는 다음과 같다.

```

HTTP/1.1 200 OK

Content-Type: text/plain

Content-Usage: train-ai=n

```

드래프트는 이 필드를 표현 메타데이터로 규정하면서 중요한 단서를 단다. "usage preferences apply to the content of a message, not the resource." 리소스가 아니라 메시지의 내용에 붙는다는 것이다.

둘째, robots.txt 확장이다. `content-usage` 규칙을 새로 정의하며 ABNF는 다음과 같다.

```

rule =/ content-usage

content-usage = *WS "content-usage" *WS ":" *WS

[ path-pattern 1*WS ] usage-pref EOL

```

경로는 선택적이다. 경로가 있으면 Allow/Disallow와 동일한 최장 접두사 매칭 규칙을 따른다. 실제 robots.txt는 이런 모양이 된다.

```

User-Agent: *

Allow: /

Disallow: /never/

Content-Usage: train-ai=n

Content-Usage: /ai-ok/ train-ai=y

```

■ 5. 수집과 이용을 나누는 2단계 설계

이 설계의 핵심은 드래프트가 스스로 이름 붙인 "two-stage arrangement"다. 원문은 이렇다. "This creates a two-stage arrangement that distinguishes acquisition and usage. Acquisition relies on Allow/Disallow rules; usage preference relies on Content-Usage rules."

여기서 파생되는 규칙이 두 가지 있고, 둘 다 사이트 운영자가 오해하기 쉽다.

- 이용 선호는 Allow/Disallow에 따라 크롤이 허용된 리소스에만 적용된다. 크롤이 금지된 리소스에 대해서는 어떤 선호도 함의되지 않는다. 위 예시에서 `/never/` 아래 경로는 수집 자체가 금지되므로 이용 선호는 적용 대상이 아니다.

- 충돌 해소 방향이 반대다. Allow/Disallow가 충돌하면 더 관대한 쪽, 즉 크롤 허용이 이긴다. 반면 Content-Usage가 충돌하면 어휘 문서의 결합 규칙에 따라 더 제한적인 쪽이 이긴다.

또 하나 실무적으로 중요한 문장이 있다. "updates to 'robots.txt' do not retroactively apply to resources." 크롤러는 가져오는 시점의 robots.txt를 기준으로 삼으며, 나중에 파일을 고쳐도 이미 수집된 콘텐츠에는 소급하지 않는다. RFC 9309은 크롤러가 robots.txt를 최대 24시간 캐시하는 것을 허용하기도 한다. 늦게 붙인 거부 신호는 이미 지나간 수집에 대해서는 아무 일도 하지 못한다.

그리고 어휘 드래프트 제3.2절은 강제력에 관한 입장을 남겨 둔다. "An entity that receives usage preferences has a choice whether to follow those preferences. This specification does not determine how that choice is made."

■ 6. 지금 사업자들이 쓰는 신호는 제각각이다

표준이 필요한 이유는 현재 상태를 나란히 놓아 보면 분명해진다. 아래는 각 사업자의 공식 문서에서 확인한 내용이다.

부착 지점이 robots.txt와 meta 태그로 갈리고, 의미 단위도 학습·검색·사용자 요청 접속으로 제각각이며, 표현 문법도 통일되어 있지 않다. AIPREF 블로그가 말한 "confusing array of non-standard signals"의 실체가 이것이다.

■ 7. 사이트 운영자가 지금 할 수 있는 것

표준이 완성되지 않은 시점에서 할 수 있는 것과 할 수 없는 것을 구분해 두는 편이 낫다.

지금 할 수 있는 것은 각 사업자가 공식 문서로 지원한다고 밝힌 토큰을 robots.txt에 명시하는 것이다. 이는 표준이 아니라 사업자별 약속에 기대는 방식이며, 사업자가 늘어나면 파일도 함께 늘어난다. Bing 계열은 robots.txt가 아니라 meta 태그를 봐야 한다는 점도 함께 기억해 둘 필요가 있다.

지금 할 수 없는 것은 두 가지다. 첫째, `Content-Usage`를 붙여 두어도 이를 해석하는 크롤러가 있다고 기대할 근거가 없다. 이 글을 쓰면서 구글·OpenAI·Anthropic 공식 문서에서 AIPREF나 `Content-Usage` 지원을 언급한 서술을 찾지 못했다. 둘째, 어떤 신호를 붙이든 그것은 강제력이 아니다. 워킹그룹 의장들이 2025년 6월 블로그에 쓴 문장이 이 점을 가장 분명히 말한다. "a preference on content is only the preference of the person who put it there; it is not legally enforceable on its own." https://www.ietf.org/blog/ai-pref-progress/

■ 8. 확인하지 못한 것

- 두 드래프트가 IESG에 제출되었는지, 2차 워킹그룹 최종 검토가 진행되었는지 확인하지 못했다. datatracker 상태는 WG Document 단계까지만 확인된다.

- 2026년 8월 하순 런던에서 열린 인터림 회의의 회의록이 아직 게시되지 않아, 2026년 7월 IETF 126 회의 이후의 최신 합의 상황은 확인하지 못했다.

- 워킹그룹 마일스톤 기한이 2026년 8월 31일로 옮겨진 시점과 사유의 공식 기록을 찾지 못했다.

- Bing 웹마스터 도구 공식 도움말 페이지는 자바스크립트 렌더링이라 본문을 확인하지 못했다. Microsoft가 AI 학습 전용 robots.txt 토큰을 별도로 두었는지 여부는 확인 실패로 남긴다.

- Anthropic 봇의 정확한 HTTP user-agent 문자열은 공식 문서에 게시되어 있지 않아 확인하지 못했다.

- 구글·OpenAI·Anthropic 공식 문서에서 AIPREF 또는 `Content-Usage` 지원을 언급한 서술을 찾지 못했다. 없다는 증명은 아니다.

■ 참고 자료 및 출처

모두 2026년 9월 1일 확인.

IETF, AI Preferences (aipref) 워킹그룹

https://datatracker.ietf.org/wg/aipref/about/

draft-ietf-aipref-vocab (최신 -07, 2026-08-19)

https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/

draft-ietf-aipref-attach (최신 -05, 2026-08-19)

https://datatracker.ietf.org/doc/draft-ietf-aipref-attach/

RFC 9309, Robots Exclusion Protocol

https://www.rfc-editor.org/rfc/rfc9309.txt

IETF 블로그, IETF setting standards for AI preferences (2025-02-27)

https://www.ietf.org/blog/aipref-wg/

IETF 블로그, Progress on AI Preferences (2025-06-29)

https://www.ietf.org/blog/ai-pref-progress/

IETF 블로그, An Update on the AIPREF Working Group (2025-10-30)

https://www.ietf.org/blog/ai-pref-update/

Google Search Central, Google의 일반 크롤러

https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

OpenAI, Overview of OpenAI Crawlers

https://platform.openai.com/docs/bots

Anthropic 공식 지원 문서, 크롤러 차단 방법

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Bing Webmaster Blog, Bing Chat 콘텐츠 이용 제어 옵션 (2023-09-22)

https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat

작성·검수: vibenexus