Как OpenAI обходят ограничения Google для улучшения ChatGPT: секреты использования SerpApi

По информации издания, OpenAI активно использует данные поиска Google для улучшения работы ChatGPT. Это происходит, несмотря на отказ Google предоставить доступ к своей поисковой выдаче. Чтобы обойти эти ограничения, OpenAI прибегает к стороннему сервису SerpApi, который обрабатывает запросы ChatGPT и передаёт их в Google, выдавая себя за “живых” пользователей. Существует мнение, что эти услуги также используют такие компании, как Apple, Preplexity и Meta* (которая признана экстремистской в России).

OpenAI располагает собственным веб-краулером GPTBot, а также имеет доступ к поисковой системе Bing, принадлежащей её главному инвестору — Microsoft. Однако в OpenAI признаются, что этого недостаточно, чтобы конкурировать с Google. Во время слушаний по антимонопольному делу против Google, Ник Турли, руководитель продукта ChatGPT, отметил, что компании пока не удаётся обрабатывать даже 80% запросов с помощью своего поискового индекса, в то время как достижение 100% остается целью на будущее.

Использование сервиса SerpApi нарушает несколько правил Google, запрещающих автоматизированный сбор поисковой выдачи и обход капчи. Одной из причин, по которой Google не подаёт в суд на SerpApi, может быть текущий антимонопольный процесс. Google уже признан монопольной компанией на рынке поиска, и активные действия против сервисов, обходящих эти ограничения, могут усугубить ситуацию с регуляторами, которые обвиняют компанию в злоупотреблениях.

Текущий процесс против Google находится на стадии обсуждения мер для ограничения её власти. Ожидается, что решение будет объявлено в конце августа; обсуждаются даже такие радикальные меры, как продажа браузера Chrome, хотя это маловероятно. В то же время вероятность того, что Google будет вынуждена открыть API для компаний, подобных OpenAI, значительно выше.

P.S. Подписывайтесь на мой канал “сбежавшая нейросеть“, чтобы узнать больше о творческой стороне ИИ.