简记 YouPorn 的技术架构 | IT瘾

简记 YouPorn 的技术架构

标签：youporn技术架构| 发表时间：2013-05-30 11:58 | 作者：旁观者

分享到：

出处：http://www.cnblogs.com/zhengyun_ustc/

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn，关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis， 郑昀简要记录几点：

• 2012年2月开始，YouPorn 的主数据库正式切换为 Redis，取代了之前的 MySQL；
• 数据：Redis  Slaves 集群处理线上每秒30万个查询请求；
• 读操作都来自于 Redis；
• 写操作，一开始是用  ActiveMQ 做排队，但维护起来很麻烦，于是他们在 MySQL 前面加了一层 Redis ，用它做主数据库。
• 2006年到2011年期间，一直在用 Perl 的一个 MVC 框架  Catalyst ；
• 2011年之后，基于 LAMP stack 重新设计了一番，这次选择的框架是 PHP 的 MVC 框架  Symfony2 ，ORM 则选了  Doctrine ，运行在 Nginx--> Varnish-->PHP-FPM 模式下；
• 数据：较之以前的 Perl 解决方案快了10%；
• 采用  HAProxy 做负载均衡、智能分发和后端健康检查；
• 采用  Syslog-ng 来处理集群环境下的日志，其实就是用来收集页面浏览时的数据，比如视频查看计数器。

 

参考文档：

1，2013-4-21， How it works: YouPorn；

2，2012-4-2， YouPorn - Targeting 200 Million Views a Day and Beyond；

3，2008， HAProxy,智能分流的负载均衡方案；
4，Redis 推荐阅读：1）Redis核心解读系列  http://t.cn/zT6A3TE by  @麦子迈 ；2）Redis 常见的性能问题和解决方法  http://t.cn/zWqL9Jw by 温柔一刀；3）Redis 设计与实现  http://t.cn/zYnTWd4 by  @huangz1990　　

本文链接

相关 [youporn 技术 架构] 推荐：

简记 YouPorn 的技术架构

- - 博客园_旁观者-郑昀

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn，关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis， 郑昀简要记录几点：.

应用架构和技术架构

- - 人月神话的BLOG

在这里再谈下应用架构和技术架构的关系和边界问题，这里的说明和标准的TOGAF会有一些区别，仅为个人理解的一些点滴记录. 首先再说下应用架构，应用架构是和业务架构有强烈的映射关系的一个架构，应用架构要说明的是整体企业内部信息化建设和规划应该分为哪些应用系统去建设，应用系统间的集成关系是如何的. 即我们常说的应用架构和应用集成架构.

Instagram的技术架构

- - 标点符

Instagram 被 Facebook 以10亿美金收购. 而在被Facebook收购前的一个月，整个团队才7名员工. 2011年： 3 位工程师. 2012年： 5 位工程师. 坚持 DRY（Don’t Repeat Yourself）原则. 使用通知/信号机制实现解耦. 我们大部分工作使用Python来完成，只有逼不得已的时候，才会用C.

eaby技术架构变迁

- - CSDN博客架构设计推荐文章

如果你对项目管理、系统架构有兴趣，请加微信订阅号“softjg”，加入这个PM、架构师的大家庭. 最近在infoq上面看到 ebay介绍其系统架构变迁以及系统设计分享方面的讲座，其中陈述了ebay从1995年到2006年之间系统架构的变化过程. 从这里，我们可以学习到许多宝贵的经验来设计一个大容量，高并发，分布式的系统.

架构面向服务的技术

- - 博客园_新闻

在其新作 《架构面向服务的技术》中，Philip Wik 总结了使用面向服务的技术搭建解决方案的三大阻力：. 如何在恰当的细节和抽象层次上为复杂的事物建模. 服务技术架构（Service Technology Architecture，后简称 STA）的基础元件是什么. 如何提升 STA 解决方案的速度和质量.

Poppen.de的技术架构分享

- - 企业架构 - ITeye博客

网址:  http://www.javabloger.com/article/couchdb-erlang-rabbitmq-red5-linux-poppen-architecture.html. Poppen.de是一个德国的 交友/ 聊天/ 视频 的SNS网站, 部分内容. NSFW，网站采用了很多我们熟悉的技术，像Nginx ，MySQL，CouchDB，Erlang，Memcached的，RabbitMQ(消息服务器)，采用了Graphite作为网站的系统监控，Red5作为视频服务，Tsung作为压力测试工具，选择的技术种类较多，还采用.

[原]技术架构组工作职责

- - KimmKing的技术博客

落地本部门的技术规划，负责本部门IT整体规划技术部分，指导重要项目的设计实现. 规范本部门的所有技术应用和开发内容，保障系统开发的有序、标准、一致性. 发展基础技术平台和完善通用组件，实现部门技术积累和IT资源高效复用. 解决各项目的技术难点、框架选型，保障项目开发的速度、效率、质量. 协助运维、安全和测试组的部分技术性工作，保障各组工作的顺利开展和技术积累.

《大型网站技术架构》 笔记 － 架构篇

- - 码蜂笔记

第四章 瞬时响应：网站的高性能架构. 性能测试是性能优化的前提和基础，也是性能优化结果的检查和度量标准. 性能测试的指标有：响应时间、并发数、吞吐量、性能计数器. 网站性能优化的目的，除了改善用户体验的响应时间，还要尽量提升系统吞吐量，最大限度利用服务器资源. 4.2 Web 前端性能优化. 主要手段有优化浏览器访问、使用反向代理、CDN加速等.

大型网站技术架构（四）--网站的高性能架构

- - CSDN博客架构设计推荐文章

大型网站技术架构（一）--大型网站架构演化. 大型网站技术架构（二）--架构模式. 大型网站技术架构（三）--架构核心要素. 网站性能是客观的指标，可以具体体现到响应时间、吞吐量、并发数、性能计数器等技术指标.       指应用执行一个操作需要的时间，指从发出请求到最后收到响应数据所需要的时间. 如下列出了系统常用的操作响应时间表..

淘宝数据魔方技术架构解析

- 狗尾草 - 淘宝数据平台与产品部官方博客 tbdata.org

（本文首发于《程序员》8月刊，略有调整. 你可通过pengchun#taobao.com联系到作者. 淘宝网拥有国内最具商业价值的海量数据. 截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据. 如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命.