background preloader

The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds

The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds
Toy solutions solving Twitter’s “problems” are a favorite scalability trope. Everybody has this idea that Twitter is easy. With a little architectural hand waving we have a scalable Twitter, just that simple. Well, it’s not that simple as Raffi Krikorian, VP of Engineering at Twitter, describes in his superb and very detailed presentation on Timelines at Scale. If you want to know how Twitter works - then start here. It happened gradually so you may have missed it, but Twitter has grown up. Twitter now has 150M world wide active users, handles 300K QPS to generate timelines, and a firehose that churns out 22 MB/sec. 400 million tweets a day flow through the system and it can take up to 5 minutes for a tweet to flow from Lady Gaga’s fingers to her 31 million followers. A couple of points stood out: Twitter no longer wants to be a web app. How does Twitter work? The Challenge Groups The Platform Services group is responsible for the core scalable infrastructure of Twitter. Push Me Pull Me

Inside Google's Secret Lab How this week's cover got made Last February, Astro Teller, the director of Google’s (GOOG) secretive research lab, Google X, went to seek approval from Chief Executive Officer Larry Page for an unlikely acquisition. Teller was proposing that Google buy Makani Power, a startup that develops wind turbines mounted on unmanned, fixed-wing aircraft tethered to the ground like a kite. The startup, Teller told Page, was seeing promising results, and, he added proudly, its prototypes had survived all recent tests intact. Page approved Google X’s acquisition of Makani, which was being completed for an undisclosed amount at press time. He also had a demand. As the polymath engineers and scientists who work there are fond of saying, Google X is the search giant’s factory for moonshots, those million-to-one scientific bets that require generous amounts of capital, massive leaps of faith, and a willingness to break things. Loaded: 0% Progress: 0% That was last century.

The Python Paradox August 2004 In a recent talk I said something that upset a lot of people: that you could get smarter programmers to work on a Python project than you could to work on a Java project. I didn't mean by this that Java programmers are dumb. I meant that Python programmers are smart. It's a lot of work to learn a new programming language. Which makes them exactly the kind of programmers companies should want to hire. Only a few companies have been smart enough to realize this so far. A friend of mine who knows nearly all the widely used languages uses Python for most of his projects. At the mention of ugly source code, people will of course think of Perl. So far, anyway. X-Ray Goggles | Tools X-Ray Goggles allow you to see the building blocks that make up websites on the internet. Activate the goggles to inspect the code behind any webpage, then remix elements with a single click, swapping in your own text, images and more. You can build: a custom homepage for the New York Times an alternate version of a controversial webpage a funny remix of your best friend's favorite site and more! Thimble makes it ridiculously simple to create and share your own web pages. a personalized greeting card an online poster for your favorite movie a hilarious meme and more! Popcorn Maker helps you easily remix web video, audio and images into cool mashups that you can embed on other websites. an animated gif with sound a documentary with dynamic links a video profile to introduce yourself to the world and more!

Why is Oracle pushing ASK.com with every Java update? | Soluto Blog When Oracle bought Sun Microsystems in 2010 they also acquired, by default, one of its properties: Java, that is installed on roughly 70% of web browsers. Java has been a hot issue in the press lately, not least because of Google and Oracle’s ongoing battle (referred to as “the world series of IP cases” by one U.S. federal judge) over whether Google’s Android operating system is infringing on Java-related patents and copyrights owned by Oracle. If appeals continue, the verdict may even be decided by the Supreme Court. Soluto has always been Team Google in this case (mainly related to open source issues, and keeping APIs free of copyright protection so better software can be developed). Every time a user is asked to update or install Java, Oracle bundles the Ask.com toolbar with the installation in a way showen by Ed Bott of ZDNet to be highly deceptive. Why is this a problem? Does Oracle fleece its customers for revenues in other ways?

Développeurs mobiles : une surcote justifiée Un monde de trentenaires, plus ou moins cinq ans d'expérience, masculins sauf trop rares exceptions, curieux voire passionnés car défiés en permanence par l'évolution des technologies : à ce portrait de groupe des développeurs mobiles correspond un niveau de salaire notoirement supérieur à la moyenne des informaticiens du même âge. Entre 38 000 et 48 000 euros par an pour la plupart d'entre eux, jusqu'à 100 000 euros pour ceux que l'on ne veut pas voir céder aux sirènes des salaires américains. Une surcote justifiée ? Pas systématique en tout cas. Bien sûr, les employeurs et recruteurs invoquent la loi du marché. Pas simple de séduire Pour cet éditeur de solutions pour personnels itinérants, 40% de croissance en 2012, 35% cette année, représentatif de cet écosystème de TPE (20 personnes) tenues d'investir le tiers du chiffre d'affaires en R&D, tout est lié : Une appétence pour continuer à apprendre Autre évidence : le développement (web ou mobile) rime avec mobilité professionnelle.

Algunos usos de Linux más allá del escritorio que quizás no imaginabas Canonical arrancó ayer una ambiciosa campaña para financiar el proyecto Ubuntu Edge, un smartphone que es capaz de funcionar como teléfono y también como equipo de escritorio, relegando el PC tradicional a un lado. Como nos podemos imaginar, Ubuntu Edge nos ofrecerá Ubuntu como sistema operativo sobre el que trabajar, un entorno de trabajo que cada vez es más habitual tanto a nivel personal como en las empresas o en las Administraciones Públicas. Cuando hablamos de sistemas operativos GNU/Linux, solemos pensar en servidores y, por supuesto, también en PCs pero Linux está presente en muchas más aplicaciones y sistemas de los que, quizás, nos podamos imaginar y, aunque no nos demos cuenta, al cabo del día podemos interactuar con más de un sistema o aplicación que está sustentada sobre una distribución GNU/Linux. Linux está presente en el escritorio, en dispositivos móviles, sistemas, servidores y muchas aplicaciones críticas

wal-e/wal-e Alternativas seguras a Skype Las revelaciones de Edward Snowden sobre PRISM o X-Keyscore han puesto sobre la mesa que el espionaje gubernamental a los usuarios de Internet es algo muy real. Aunque las estadísticas muestren que los estadounidenses prefieren sacrificar su privacidad para contribuir a su seguridad, son muchos los usuarios que miran con recelo a la nube y buscan servicios alternativos con los que garantizar la privacidad de sus datos (o al menos ponérselo algo más difícil a la NSA). Si hace unas semanas dedicamos unos minutos a repasar algunas opciones con las que implementar nuestra propia nube privada, vamos a seguir esta estela para hablar de mensajería y buscar alternativas seguras a Skype. Con la idea de desvincularnos de este tipo de dinámicas, vamos a echar un vistazo a varias alternativas libres a Skype con las que cursar nuestras comunicaciones de manera algo más segura: ¿Y cuál es el valor diferenciador de TOX? Cryptocat Mumble Jitsi ¿Y qué tiene de interesante Jitsi?

A successful Git branching model » nvie.com Note of reflection (March 5, 2020)This model was conceived in 2010, now more than 10 years ago, and not very long after Git itself came into being. In those 10 years, git-flow (the branching model laid out in this article) has become hugely popular in many a software team to the point where people have started treating it like a standard of sorts — but unfortunately also as a dogma or panacea.During those 10 years, Git itself has taken the world by a storm, and the most popular type of software that is being developed with Git is shifting more towards web apps — at least in my filter bubble. Web apps are typically continuously delivered, not rolled back, and you don't have to support multiple versions of the software running in the wild.This is not the class of software that I had in mind when I wrote the blog post 10 years ago. Why git? For a thorough discussion on the pros and cons of Git compared to centralized source code control systems, see the web. The main branches ¶ develop

Opera da a Webkit la llave para dominar la web El equipo de Opera software anuncia que dejará de dar soporte a su propio motor de renderización en favor del desarrollado por Apple. 13/02/2013 - Coincidiendo con el anuncio de haber superado los 300 millones de usuarios activos en todo el mundo, Opera ha dado a conocer que actualmente se encuentra probando una versión del motor de navegación web de código abierto conocido como WebKit. Basado originalmente en el motor de renderizado KHTML del navegador web Konqueror, Webkit es usado actualmente por navegadores web como Safari o Google Chrome, clientes de correo electrónico como MailPlane, mensajería instantanea como Yahoo Messenger, o aplicaciones enfocadas al desarrollo de páginas web como Coda, CSSEdit, TextMate (+info desde desarrolloweb.com) Según se ha dado a conocer porla propia Opera Software, el paso de su actual motor Presto a Webkit se llevará a cabo de forma gradual y alcanzará tanto a las versiones de escritorio como móvil de sus navegador web.

Semantic Versioning 2.0.0-rc.1 Crear disco de arranque USB con varios sistemas operativos Existen varias herramientas que nos permiten crear discos de arranque USB para diferentes plataformas, una de las mas populares es UNetbootin, pero en mi opinión Yumi Multiboot USB Creator es mas sencilla de usar y organiza mejor los sistemas. Yumi es una herramienta gratuita que nos permite de una manera muy sencilla crear un disco de arranque USB con varios sistemas operativos. Desde hace un buen rato las unidades de discos físicos de nuestros computadores han pasado a ser un accesorio muy poco utilizado. Pocos son aquellos que aún usan CDs o DVDs para reproducir música, vídeos, o instalar programas, mucho menos para instalar un sistema operativo. Gracias a las bondades de la nube podemos descargar el sistema operativo que queramos directamente desde el ordenador en el cual lo queremos instalar, y gracias a utilidades geniales como Yumi, podemos crear un disco de arranque USB con este mismo sistema, agregarle varios mas, e instalarlos en nuestro equipo. Requisitos Básicos Descargar Yumi

Comment se faire connaître lorsqu'on est développeur ? Que l’on soit indépendant, employé, étudiant ou en recherche d’un job, être visible peut souvent être très utile. Un indépendant aura plus de contrat. L’étudiant sera plus crédible lors de l’entretien pour son stage. Le salarié ou le chercheur d’emploi recevra plus de propositions. Voici quelques moyens de devenir plus visible quand on est développeur : {*style:<b>Participez à un événement </b>*}Voilà un bon moyen de rencontrer du monde et faire du réseau. Plus le sujet est technique, plus vous risquez d’être qu’entre développeur. {*style:<b>Présentez une conférence/un lightening talks </b>*}C’estcertainement l’un des meilleurs moyens de se faire connaître et de devenir crédible. {*style:<b>Organisez un événement </b>*}C’est souvent assez long à faire et assez peu rentable en terme visibilité. {*style:<b>Tweetez En revanche, être visible sur Twitter est plus difficile. Par exemple, sur les cartes de visites Human Coders, nous n’avons mis que notre Twitter :)

Related: