Mr. Data Converter. Mr. Data Converter. Chapter 1. Using Google Refine to Clean Messy Data. Google Refine (the program formerly known as Freebase Gridworks) is described by its creators as a “power tool for working with messy data” but could very well be advertised as “remedy for eye fatigue, migraines, depression, and other symptoms of prolonged data-cleaning.” Even journalists with little database expertise should be using Refine to organize and analyze data; it doesn't require much more technical skill than clicking through a webpage. For skilled programmers, and journalists well-versed in Access and Excel, Refine can greatly reduce the time spent doing the most tedious part of data-management. Other reasons why you should try Google Refine: It’s free.It works in any browser and uses a point-and-click interface similar to Google Docs.Despite the Google moniker, it works offline.
Download and installation instructions for Refine are here. This tutorial covers the same ground as this screencast by Refine’s developer David Huynh (the other two videos are here): Starting a Project. Refine - Google Refine, a power tool for working with messy data (formerly Freebase Gridworks) CASES (Computer-Assisted Survey Execution System), UC Berkeley. Vídeo-aula: Expressões Regulares – Quantificadores Gulosos | AURELIO.NET. Já faz um bom tempo, anos até, que eu marquei aqui na minha interminável (e sempre crescente) lista de tarefas o item “vídeo tutorial regex”.
A ideia era fazer vários pequenos vídeos, cada um explicando um conceito, ou um metacaractere das expressões regulares. Mas tá. Eu anotei e ali ficou, esquecido. Dias atrás, pesquisando sobre SQL para tentar compor uma query cabeluda (para os meus padrões de aprendiz), acabei caindo num vídeo do YouTube que explicou e demonstrou de maneira muito clara e simples a diferença entre os tipos de JOIN: INNER, CROSS, LEFT, RIGHT e FULL. Nestes anos de nerdice eu já li muita documentação técnica sobre SQL e seus comandos, mas foi um simples vídeo de 9 minutos que me fez ver a luz e entender bem a diferença dos JOINs. Não que o vídeo te ensine a compor uma query, mas dá aquela visão geral de como funciona. Sem entrar em detalhes, sem exceções, sem casos especiais. EXPRESSÕES REGULARES – Quantificadores Gulosos (YouTube) ^um ^um.* ^um.
Awk.