AI検索スタートアップのPerplexityが、禁止されているウェブサイトからコンテンツをクロールしていたことが米Wired誌の調査により明らかにされ、問題になっています。
ウェブサイトはRobots Exclusion Protocol（ロボット排除プロトコル）を使用して、ウェブクローラーからコンテンツを守れます。これはボットが遵守すべきものですが、遵守は任意です。Wired誌及び同誌と利害関係のない研究者は、Perplexityがこれらのコードを無視して、アクセス禁止のサイトからコンテンツを取得していた証拠を持っていると述べています。
Perplexityの共同創設者兼CEOのアラビンド・スリニヴァス氏は、問題のウェブクローラーは自社のものではなくサードパーティーのウェブクローラーだと述べました。しかし、その第三者の名前は契約上非公開であると主張すると共に、クローリングの停止要求については明確な回答を避けています。
スリニヴァス氏はロボット排除プロトコルは法的枠組みではないとし、AI時代にふさわしい新しい関係が必要だと述べています。
しかし一方で、Perplexityが記事を誤って要約した例も報告されています。以前にもForbesがPerplexityにコンテンツを無断使用されたと非難しており、引用なしで記事やポッドキャストを作成していました。
この問題を受けてPerplexityは、生成された記事に引用を追加するアップデートを実施しました。
Perplexityは収益共有契約を出版社と結ぶことを計画しており、AI検索市場での立場を強化しようとしていますが、出版社との関係改善も同時に求められています。
出典：Perplexity AI CEO Aravind Srinivas on plagiarism accusations – Fast Company