Minerar os dados de todos personagens do Tibia

Estava usando a biblioteca Jsoup (Java) para mineração de Html, decidi minerar os personagens do Tibia.com que o mesmo disponibiliza. Obviamente, apenas os personagens que aparecem em algum Highscore foi possível ser minerado. Fiz algumas pesquisas superficiais sobre como minerar todos os personagens do Tibia, mas nada encontrado. A Cipsoft provavelmente não disponibiliza nada do tipo. Porém, o fã site de estatística Tibiaring possui as estatísticas de rank de todos os personagens, isso mostra que eles possuem acesso ao banco de personagens do Tibia. Mas como?

Eles mineram os jogadores que ficam ou ficaram online...

Citação:

---

Postado originalmente por Skiann Torphyx

Eles mineram os jogadores que ficam ou ficaram online...

---

Cogitei essa ideia. Mas acho inviável, pois o TibiaRing possui todas as informações de todos os personagens e, se essas informações fossem obtidas apenas por mineração dos jogadores que ficam/ficaram online, então eles estão minerando desde o primeiro dia que a Cipsoft mudou os servidores (2001). O TibiaRing é velho, mas nem tanto.

Uma possibilidade é eles mineraram com ajuda dos usuários do site. Na barra de pesquisa, quando o usuário pesquisar algum personagem, o Tibiaring pode pesquisar esse personagem no site do Tibia e adicionar no banco de dados. Mas ainda continua inviável, pois eles têm aproximadamente 2kk de contas registradas.

Eu sei que o Tibiaring possui alguma forma de buscar esses dados, mas quero saber como! :bravo:

- - - Atualizado - - -

Bom, eu consegui minerar com eficácia o top 50 mil de experiência. Na realidade, consegui 75 mil, mas só garanto 50 mil.

ele possui um scraping que roda todos os dias no site do tibia e pega os dados do personagem no campo de pesquisa e dos jogadores online, a partir disso ele alimenta seu proprio banco de dados e é assim que ele mostra todos os dados do jogador.
eu tinha feito um site parecido com o tibiaring uns anos atrás, porém não dei continuidade pois só foi uma curiosidade para fazer esse sistema.

Citação:

---

Postado originalmente por Eratsu

ele possui um scraping que roda todos os dias no site do tibia e pega os dados do personagem no campo de pesquisa e dos jogadores online, a partir disso ele alimenta seu proprio banco de dados e é assim que ele mostra todos os dados do jogador.
eu tinha feito um site parecido com o tibiaring uns anos atrás, porém não dei continuidade pois só foi uma curiosidade para fazer esse sistema.

---

Bom, é o que eu estou fazendo, raspando dados. Nossa, se for realmente assim que o TibiaRing conseguiu mais de 2kk de registros, então parabéns para os administradores. Eu achei que houvesse uma maneira de minerar dados ou até mesmo uma raspagem a ponto de conseguir todas as informações do personagem apenas com o site do Tibia. Pensei alto :D

Citação:

---

Postado originalmente por The Ironic Inexorable

Bom, é o que eu estou fazendo, raspando dados. Nossa, se for realmente assim que o TibiaRing conseguiu mais de 2kk de registros, então parabéns para os administradores. Eu achei que houvesse uma maneira de minerar dados ou até mesmo uma raspagem a ponto de conseguir todas as informações do personagem apenas com o site do Tibia. Pensei alto :D

---

Isso pode te ajudar, com isso vc já tem praticamente 70% do projeto feito, agora resta apenas vc gerenciar o banco de dados
https://github.com/tibiasolutions/tibia-parser

Citação:

---

Postado originalmente por Eratsu

Isso pode te ajudar, com isso vc já tem praticamente 70% do projeto feito, agora resta apenas vc gerenciar o banco de dados
https://github.com/tibiasolutions/tibia-parser

---

Valeu, cara. Dando uma olhada no código dele, eu tive uma ideia parecida! Vou colocar em prática em breve, só dar uma adiantada no tcc da vida. Tenho umas ideias interessantes com relação à aplicação mobile. Vamos ver se vem a calhar.

O tibiaring.com minera dados desde 2006, só pesquisar alguns chares bem antigos dessa época... Devem ter um excelente script pra ficar minerando dados no Tibia.com