Filtros colaborativos, erros e inovações

No último falatório que participei, discutíamos, entre outras coisas, um certo fetiche pela técnica na medicina, especialmente a técnica da máquina. Muitos reclamaram do que seria um desumanizaçã oda medicina, e chiaram mais ainda quando eu defendir a idéia de que algoritmos, se bem alimentados, poderiam substituir os médicos nos diagnósticos (em parte, pois ainda precisariam deles para alimentar o algoritmo com sintomas).

Com a explosão de informações na internet, o uso de algoritmos para sugerir ao usuário o que lhe é de seu interesse ficou mais importante. Notem que mecanismos de busca como o google ainda são baseados nas médias de buscas de todos os usuários. Assim, se você digitar Lula, ele recomendará as páginas mais populares, levando em consideração os links entre as páginas da Web e os clicks de todos os usuários. Porém, atualmente pelo menos, ele despreza todas as informações particulares do usuário existentes, por exemplo, em buscas passadas, que sites ele clicou, seus sites, textos que lê e recebe no seu e-mail etc.

A idéia dos filtros colaborativos é justamente sair da recomendação a partir da média para usar uma recomendação mais personalizada. Em geral, tais filtros comparam os dados de um usuário coms os dos demais usuários e e constrói índices de similaridade entre os usuários. Assim, é capaz de predizer, com base nos gostos/ações de outros usuários similares o que você pode querer ou estar interessado. Provavelmente, num futuro próximo o google irá permitir que os usuários do seu mecanismo de busca usem suas informações personalizadas (buscas passadas, sites acessados, e-mails lidos, textos publicados em blogs etc.) para melhorar a sugestão de seu mecanismo de busca.

Esse mecanismo mais eficiente, porém, não resolve o problema da latência, a saber: itens novos, incomuns ou esotéricos só serão recomendados pelo sistema até que eles sejam incluídos no perfil de um número muito grande de usuários. O google atualmente já sofre com esse problema, na medida em que alguns sites tinham tanta reocmendação no passado que mesmo coisas mais novas e mais interessantes para o público não são sugeridas, pois têm baixo pagerank. Isso, porém, dificulta que esses sites sejam linkados e acessados, criando uma certa inércia que é ineficiente.

Assim, a grande questão filosófica dos filtos colaborativos é saber o que aconteceria num mundo em que ele fosse usado extensivamente e subistituísse modos analógicos de recomendações e descoberta de coisas novas como o boca-a-boca, tentativa e erro, experimentação aleatória etc. Pra mim, o principal problema é o referido problema da latência. O sistema pode acabar chegando num equilíbrio estático em que coisas novas não conseguem ultrapassar o limiar para serem recomendados e permanecerão, para sempre, na obscuridade.

Se pensarmos em termos de eficiência, me parece que o sistema atual do ser humano (que chamei de analógico) é estremamente ineficiente ao nível local/individual. Porém, a ineficiência, que gera erros demasiados, leva o ser humano a descobrir coisas novas, transformando assim o erro em acerto (a posteriori). No longo prazo, os erros posteriomente percebidos como acertos aumentam a eficiência global na medida em que são transferidos para outras pessoas. Um exemplo disso é a cantora Susan Boyle, que (quase) todos descartariam a priori baseado em prejuizos, mas que se revelou uma grande cantora.

O risco de um novo sistema baseado em filtros colaborativos é que se aumenta a eficiência individual de curto prazo, mas leve a uma redução no número de inovações em nível global no longo prazo.

ps.: Eu estou pensando em desenvolver um filtro colaborativo que busque, justamente, indicar itens raros e incomuns entre usuários. Uma idéia é simplesmente que os usuários classifiquem itens que inicialmente lher pareciam estranhos e/ou que não apreciavam e que posteriormente gostaram. Assim, eventualmente pode-se descobrir um padrão sobre como, quando e porque isso acontece

Sobre Manoel Galdino

Corinthiano, Bayesiano e Doutor em ciência Política pela USP.
Esse post foi publicado em Arte e Cultura, ciência, Política e Economia e marcado , , . Guardar link permanente.

Uma resposta para Filtros colaborativos, erros e inovações

  1. Pingback: Inovação, viés para o status quo e multi-armed bandit problem | Blog Pra falar de coisas

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s