Obter a legislação do dre.tretas.org – para o novo site

O primeiro problema: chegar ao texto integral dos diplomas

Tal como no site do dre.pt antigo, neste novo site existe uma forma de aceder ao texto integral usando URLs encontrados usando um motor de busca.

Por exemplo se fizermos uma busca com:

site:dre.pt inurl:maximized "Série II"

Vamos obter URLs para páginas deste género.

O URL anterior pode ser simplificado para qualquer coisa como:

https://dre.pt/home/-/dre/57968656/details/3/maximized?serie=II&parte_filter=31

Neste caso o diplomaId é 57968656.

Infelizmente o “diplomaId” não é sequencial.

Assim o problema consiste em obter este diplomaId para os documentos de cada dia.

Se consultarmos os documentos da “Parte C” da série II do DR, para um dado dia no passado recente, vamos encontrar algumas ligações com o texto:

Consultar vigência e produção de efeitos (DIGESTO)

A informação adicional obtida via estes links é muito pouca para o acesso grátis ao dre.pt. No entanto, se olharmos ao respectivo URL, identificamos o seguinte:

diplomaId=62080172

Este diplomaId corresponde ao número que nos dá acesso ao texto integral que mencionei antes! O exemplo anterior corresponde ao Despacho 14844/2014, que tem este texto integral.

O segundo problema: obter a lista dos documentos para um dado dia

PASSO 1 – O truque fundamental reside na forma como obtemos a lista dos documentos para um dado DR, a query a fazer ao servidor deverá ser do tipo:

https://dre.pt/web/guest/pesquisa-avancada/-/asearch/advanced/maximized?types=DR&dataPublicacao=<data&gt;

Daqui iremos obter uma lista de Diários da República (exemplo).

PASSO 2 – Por exemplo para o DR n.º 37/2015, Série I de 2015-02-23 o URL obtido no passo 1 é:


https://dre.pt/web/guest/pesquisa-avancada/-/asearch/66567259/details/maximized

Limpei o URL da parte da query dado que parece não ser usada para nada de útil aos nossos objectivos.

PASSO 3 – Vamos agora obter o ID único que nos dá acesso à página do digesto como referi mais acima. Cada documento irá ter uma estrutura parecida à seguinte:

<li>
<a href="/application/file/<número pdf>"> [ ... ]
<span class="rgba"><número digesto></span>
</a>
<div class="author"> [...] </div>
<div class="summary"> [...] </div>
<div class="action"><a class="clara" ...>Link para o digesto, isto é opcional</a></div>
</li>

Quando se faz a query da forma que mostrei temos uma tag span com class rgba. Se o número contido neste span for diferente do número do link para o PDF, então podemos construir links para a página do digesto com o texto integral! (exemplo para a Portaria 46/2015 que é a primeira do DR que usei como exemplo, notem que é da série I).

É simples, agora, fazer um scraper para isto.

Tanto quanto posso aferir isto funciona para todo o DR, série I e série II excepto para a parte dos contratos da série II.

Obter a legislação do dre.tretas.org

Mantemos em http://dre.tretas.org uma cópia do DRE com algumas funcionalidades que faltam no site oficial. Essas funcionalidades incluem um motor de busca eficiente, um sistema robusto de bookmarks, etiquetagem e anotação da legislação.

Para além disso, na página Acerca, do site, damos a possibilidade de fazer o download dos dados que, desde 2011, retiramos do site oficial. Desta forma qualquer um pode tratar estes dados como melhor entender. Neste post descrevo a estrutura destes dados.

Continuar a ler

Resumos de legislação

ATENÇÃO – Em Setembro de 2014 a Casa da Moeda alterou o site do DRE pelo que as notas que constam neste post já não são válidas. Mantêm-se o post para memória futura.

Descobri, hoje, que o dre.pt tem o que chamam “Resumos em linguagem clara”. São resumos de diplomas explicados em linguagem acessível. A chatice é que, parece, estes resumos apenas estão disponíveis a quem pagar pelo acesso ao Diário da República Electrónico.

Exemplo:

resumo_em_linguagem_clara

Como remover o seu histórico da Web (versão Google)

By tom burke from Morgan Hill, CA, USA (Flickr) [CC-BY-2.0 (www.creativecommons.org/licenses/by/2.0)], via Wikimedia Commons

Estou-me a referir à funcionalidade que a Google oferece, onde guarda de forma automática o seu histórico de navegação, as buscas que efectuou e ainda mais dados. Esta funcionalidade até ao dia 1 de Março é estanque em relação aos outros produtos oferecidos pela Google aos seus utilizadores.

No entanto, a partir de 1 de Março os outros produtos da Google vão ter acesso a este tesouro de informação (não só à informação gerada a partir desse dia em diante, mas a todo o histórico). Esta é informação muito sensível, se tem o serviço activo pode lá encontrar indícios acerca da sua orientação sexual, preferências políticas, religião que professa, produtos que compra e em que lojas, viagens que realizou, problemas de saúde, etc. Em suma, a maior parte da sua vida on-line pode lá estar espelhada, para a maior parte das pessoas, será 100% da vida on-line.

Imagine o quanto não vale esta informação para os clientes da Google. Se tiver, por exemplo, algum tipo de doença e estiver fragilizado. E, de repente, começar a receber anúncios de curas milagrosas para a sua doença. É normal que tente a cura. É o que toda a gente faria. Não pense que este é um caso hipotético, é o que já acontece hoje em dia.

A seguir ao corte mostro como eliminar esta informação.

Continuar a ler

Diga não à ACTA

(Para ligar as legendas inicie em primeiro lugar o filme, a seguir clique no botão ‘CC’ uma vez e, depois do fundo deste botão ficar vermelho, clique outra vez e escolha o idioma na lista que aparece)

A liberdade que desfrutamos na Internet representa uma ameaça muito sensível aos poderes do nosso mundo. É por isso que assistimos todos os dias a tentativas para cercear esta liberdade, para a limitar e estrangular. O Tratado Comercial anti-Contrafacção – ACTA (Anti-Counterfeiting Trade Agreement) – não é mais do que outra destas tentativas. Informe-se neste site.

Apertando o Cerco

Se visitar a Wikipédia em Inglês, ou inúmeros outros sites, vai deparar com uma página parecida à que ilustra este post. Trata-se de um protesto contra as leis anti-cópia elaboradas pelo mesmo lobby que em Portugal vai fazer aprovar a lei da cópia privada (que goza de uma unanimidade enternecedora na Assembleia da República). As leis em questão são a SOPA (Stop Online Piracy Act) e PIPA (PROTECT IP Act), a primeira lei é da câmara dos representantes e a segunda do senado, com objectivos idênticos.

 
Continuar a ler

Internet censurada em Espanha, a partir de Março

Não será bem como sugiro no título, o apagar das liberdades não se faz de um momento para o outro, mas a Lei Sinde que entra em vigor em Espanha em Março, é um passo nessa direcção (pode ler também o apontamento do Público). É também um passo completamente inútil para estancar o download de conteúdos protegidos com direito de cópia.

Poder-se-á, por outro lado, revelar muito mais eficiente para travar e atenuar fenómenos como este:

 
Continuar a ler

Uma decisão que é uma bomba, mas também inevitável

A decisão do Tribunal de Justiça da União Europeia de considerar ilegal a vigilância indiscriminada do tráfego na Internet, com o objectivo de detectar os chamados downloads ilegais, não faz sentido apenas na defesa dos direitos de todos nós, também não faz sentido do ponto de vista económico.

É óbvio que não prescindo do direito à privacidade em favor dos direitos de cópia (que já se prologam por períodos de tempo patológicos), simplesmente, estes direitos não estão no mesmo nível. No comunicado de imprensa do tribunal (PDF), pode-se ler:

É verdade que a protecção do direito de propriedade intelectual está consagrada na Carta dos Direitos Fundamentais da União Europeia. Esclarecido isto, não decorre de forma alguma da Carta, nem da jurisprudência do Tribunal de Justiça, que esse direito seja intangível e que a sua protecção deva, portanto, ser assegurada de forma absoluta.

Continuar a ler