Common Crawl

Common Crawl es una organización sin fines de lucro 501(c)(3) que mantiene un repositorio abierto de datos de rastreo web. Desde su fundación en 2008 por el científico informático Gil Elbaz, la organización ha rastreado sistemáticamente internet y ha puesto a disposición de forma gratuita petabytes de texto sin procesar, metadatos y texto extraído. Los datos se alojan en los buckets públicos S3 de Amazon Web Services; los usuarios solo pagan por sus propios costos de cómputo y almacenamiento. El corpus de Common Crawl es el conjunto de datos web abierto más grande, utilizado por investigadores, periodistas, startups y los principales laboratorios de IA. En la década de 2020 se convirtió en la principal fuente de entrenamiento para modelos de lenguaje grandes, incluidos GPT-3, GPT-4 y LLaMA. Una investigación de noviembre de 2025 realizada por The Markup y Wired examinó cómo las empresas de IA utilizan los datos, lo que generó debates sobre el consentimiento y los derechos de autor.[editar]

La misión de Common Crawl es democratizar el acceso a los datos de la web rastreando internet y proporcionando el contenido resultante de forma gratuita a cualquier persona. El objetivo es reducir las barreras para el análisis de datos a escala web, fomentar la innovación y preservar un registro histórico abierto de la web.[editar]

Gil Elbaz comenzó a construir el primer rastreador en 2007, impulsado por la creencia de que los datos abiertos de la web eran esenciales para un internet saludable. El primer conjunto de datos de rastreo público, que contenía aproximadamente 2 mil millones de páginas, se lanzó en 2008. La infraestructura inicial dependía de servidores donados y subvenciones. En 2012, Common Crawl se asoció con Amazon Web Services para alojar los datos en buckets públicos de S3, haciendo que el acceso fuera gratuito y escalable. El conjunto de datos News Crawl se lanzó en 2015, proporcionando un flujo continuo de artículos de noticias. Para 2017, el corpus había crecido a 3.5 mil millones de páginas, el conjunto de datos web público más grande en ese momento. El auge de la IA a principios de la década de 2020 aumentó drásticamente la demanda; Common Crawl se convirtió en el corpus de facto para el entrenamiento de modelos de lenguaje grandes. En respuesta a las preocupaciones sobre derechos de autor y consentimiento planteadas por una investigación de 2025, la organización anunció planes para desarrollar un sistema de exclusión voluntaria y un mejor seguimiento de la procedencia.[editar]