¿Cómo obtiene Kayak toda la información de todos esos sitios de viajes?

Primero en el modelo de negocio:

Kayak ofrece un servicio extremadamente útil y de alta calidad. Por eso han creado una gran audiencia de usuarios. A diferencia de la búsqueda web tradicional, Kayak no incluye todo el contenido de viaje que puede, solo es una inclusión paga. Por lo tanto, si no está pagando una tarifa a Kayak por la publicidad / generación de leads, no se pone frente a esta gran audiencia y pierde ventas para sus competidores. De hecho, Kayak es mucho más comparable a Google que a una agencia de viajes en línea como empresa. Y las agencias de viajes en línea y los proveedores de viajes están enganchados tanto en Kayak como en Google por su tráfico, por lo que están dispuestos a pagarle a Kayak por referencias de la misma manera que están dispuestos a pagar por Google para AdWords.

Luego en la tecnología. Para un metabuscador, hay 3 métodos para obtener acceso al contenido:

1) Proveedor de tecnología: en el caso de Kayak, este es ITA (propiedad de Google). ITA tiene un monopolio efectivo en la compra de viajes para aerolíneas con base en los EE. UU. (Es decir, cuando realiza una búsqueda en aa.com, ITA realiza los cálculos de precios y devuelve las tarifas de los vuelos disponibles). También venden un servicio a Kayak que impulsa el metabuscador para estas aerolíneas (que muestra las tarifas disponibles para los vuelos en todos estos aviones + enlace profundo a los sitios web de las aerolíneas)

2) Fuente XML del sitio de viajes: supongo que así es como Kayak incorpora la mayoría del contenido de las agencias de viajes en línea. Las agencias de viajes en línea preparan y actualizan regularmente un caché de sus productos de viaje disponibles y luego lo llevan al metabúsqueda.

3) Raspado de pantalla: utilizado por algunas metas para obtener contenido en aerolíneas que no son participantes dispuestos (por ejemplo, Southwest, Ryanair). Kayak no parece participar en la captura de pantalla para proporcionar todo el contenido posible, de ahí la ausencia de, por ejemplo, Southwest en los resultados. Pero ciertamente tendrían esta capacidad para incluir contenido de participantes dispuestos y pagadores con quienes no se están integrando con los métodos 1 y 2

Un buen enlace, aunque no es exactamente Kayak, para comprender cómo puede ser un mosaico para armar una metabúsqueda: http://www.travelfusion.com/supp…
Debe tener acuerdos comerciales e integración tecnológica con todos los OLTA y proveedores. ¡Es un trabajo duro construir un gran meta!

Esta respuesta en stackoverflow ofrece una visión general muy completa del problema y las posibles soluciones: ¿cómo un sitio como kayak.com agrega contenido?

Que yo sepa, Kayak hace muy poco (si es que lo hace) raspando la pantalla. Obtiene la mayoría de su información de disponibilidad de asientos de ITA.