抖音服务器带宽有多大,为什么能够供那么多人同时刷

抖音,百度,阿里云,腾讯都是自建的数据中心,都是T级别出口带宽(总出口带宽),也就是达到1T=1024G/s的出口带宽,服务器总署基本都在20万台以上,甚至阿里云都超过了100万台。

字节跳动的数据中心总带宽,可能在10TB级别左右,预期突破15TB级别不远了。

一般情况下:总出口带宽1TB,实际机房出口带宽可能只有100G上下,这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到T级别。

大型数据中心

想要同一时间有数亿人在线,TB级别带宽,CDN加速和多节点,负载均衡等等技术缺一不可。(这个设计技术过于复杂,有相关专业朋友,可以评论简要概述)

CDN加速

字节跳动有多少台服务器?

根据网络数据整理,2017年2-3万台服务器,这个时候主要是租用服务器为主。2018年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期5万台服务器。二期9万台服务器。

2018年,租用+自建的服务器数量达到17万台服务器。

2020年,根据字节跳动招聘公告的数据,显示有42万台服务器。比2018年增长了1.5倍。(数据来自网络)

一个机柜中10-20台服务器

这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。

在美国的TIKTOK是独立出来的运营,数据在美国当地存储和分发。

2020年TIktok在美国也租用了近10万台服务器

据Business Insider公布数据,2020年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达53兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。

Tiktok在印度,新加坡都在投资建设数据中心。

聊完了服务器数量,那么咱们来点硬核的东西:字节跳动大型的数据中心出口带宽是多少?

知识点:所谓的出口带宽,其实就是咱们普通人所说的下载带宽。就是服务器给每一个手机分发数据总速度。

一般情况下,小型的IDC公司自建机房,比如一些网站公司,租用联通,移动,电信的机房,可能总体出口带宽只有5G。超过30G那都是具备一定规模的企业。网络公司营收少说也是几千万的企业。

所以,经常能够看到,一些规模还不错的企业,基本上都不再自建机房,都是使用云主机。例如阿里云的ECS,腾讯云,百度云,AWS(亚马逊)。

一般一个企业网站(企业官网),20M带宽,4G内存,100G硬盘,一年价格也就4000-5000块钱就足够了,赶上做活动价格可能更便宜。

这里面就是带宽最贵,当然增加带宽,达到一定等级,例如访问量增大,必须要增加内存和硬盘。相比来说,带宽增加的话,费用更贵一些。【这里就跟你说明一下:带宽比较昂贵,属于稀缺资源】

我们来看中国移动的一个机房:中国移动(河北石家庄)数据中心的数据:

占地面积174亩,总建筑面积13万平方米,规划10栋单体建筑,全部建成后可提供约3万个机架的装机能力3个IDC机房共可提供3.1万架机柜,15T带宽资源。

一个机柜,全1U设备部署数量一般不超过16台,全2U设备一般不超过12台,全4U设备一般4到7台。

我们取高性能的2U和4U服务器进行平均折中,各算一半(毕竟移动也算是有钱的大户,不能买低端的1U设备)。那么3.1万架机柜就可以安装,最多21-36万台服务器。

这里粗略取一个平均值:30万台服务器。享受15T的出口带宽资源。当然作为电信的干路网,移动拿带宽资源肯定是要比字节跳动更有优势的。

所以,我们粗略地估计字节跳动自建的17万台服务器的数据中心。总出口带宽可能在7Tb-10TB上下。基本上肯定会采用双出口流量设计,再加上多链路的部署方式:可以做到实际出口带宽在800G-1TG就可以实现10T左右的总出口带宽。【这是技术方式】

字节跳动2018年河北怀化数据中心

T级别出口带宽是什么概念,如果我告诉你2009年,整个上海的出口带宽才1140G,也就是刚刚达到1TB。在短短的10年后,一个企业的数据中心的出口带宽就超过1Tb,这个速度真的不可想象。

要知道2009年,虽然智能手机不发达,但是个人PC销量已经非常庞大了。

CDN加速,让大众刷抖音,看视频都不在卡

知识点:CDN(Content Delivery Network,内容分发网络)

将服务端的内容发布到最接近用户的边缘节点,使用户可以就近取得所需的内容。

解决Internet网络拥塞状况,提高用户访问网站的响应速度。多种加速的方案集合。

用通俗的话解释CDN就是:会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发速度快。用户可以在2s内看到内容,体验感更好。【这是静态传输】

对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。【这就是动态压缩】

给你们看一下2015年腾讯5亿日活,集合了音乐,即时通讯等等产品的CDN的级别,达到了10TB带宽。每天请求万亿次。

2015年腾讯CDN的级别

因此,我这里说字节跳动整体服务器有10TB应该只少不多。毕竟抖音日活有6亿,西瓜视频+今日头条我们粗略算是2亿,总计有8亿的日活。

就是这么大的带宽和技术实力,才能让我们看视频这么顺畅。

【原创:机器人观察,带你详细了解互联网世界】

大型网站,特别是视频网站都是分布式的云计算,就我前面做云计算的经验来说,至少他们他们需要在全国几大区域都有服务器群,例如北上广四川或者贵州都有云服务器,这个不仅仅是某个服务器的带宽来衡量了,而是整个机房的出口带宽,还有云集群的并发能力了。当然,还会配合OSS,CDN,SLB等诸多的技术,我估计目前有这样的服务器群级别的只有阿里云,当然他们已经发展这么大了,也有可能使用自己的云计算技术。今日头条还在国外很大布局,还有众多的海外服务器。要做到这样技术对接只有阿里云、AWS或者自主研发云技术能够解决。

这个问题我大概回答一下,由于我不太清楚字节跳动真正的网络是如何组网的,所以我只能告诉你大概的原理。参考其他大型互联网企业的组网,应该解决的方案是类似的


抖音并不是全国所有刷视频用户都在同一个地方的数据中心接入我们看视频的流量,如果是这样的话,那么这个数据数据中心所需的带宽就是过于巨大。一般来说,抖音在全国各地会建设几个比较大的数据中心,我们刷视频的请求是就近接入的。

比如张三在北京,那么他接入抖音APP,上传和浏览视频,就是在北京数据中心完成;李四在上海,那么他的上传视频和浏览视频就是在上海的数据中心完成。如果所有用户都接入同一个地方数据中心,毫无疑问对于这个数据中心的负载太大,这是不可能的。


各个数据中心的视频数据,通过专有的高速互联网络进行同步。也就是你上传的视频虽然是上传到上海的数据中心,北京的用户依然可以看到,就是可能要晚一点刷才看到。抖音需要把你在上海上传的视频数据通过高速网络传递到北京后,北京的用户才能看到。

一个数据中心包括多个运营商的出口,一般是会和三大运营商网络在本地对接,同时会和一些中小型运营商对接,例如广电。和运营商网络对接的目的为了接入运营商的用户,这也就意味着你是北京移动用户,那么刷出来抖音的视频将会从北京移动的网络接入抖音


如果发现某个区域的数据中心业务负载太重怎么办?例如湖南春节大量用户返乡,导致位于武汉的数据中心突然接入不了这么多湖南的用户了,这个时候抖音内部就会调整用户的接入路径,把一部分本来接到武汉的抖音用户接入到北京去(因为春节北京的人少了很多)

所以,这就是互联网公司网络的基本架构。全国存在多个数据中心,不同地方的用户刷视频其实是接入不同的数据中心,每个数据中心都会和三大运营商网络对接。


这种分布式的网络保证了抖音的业务不会都积压在一个数据中心,由全国各地抖音数据中心和运营商互联的带宽来保证用户刷视频可以正常浏览

那么位于不同位置的抖音的数据中心和三大运营商的互联带宽多大?只能讲肯定是T级别的,1T等于1000G,现在大型互联网公司和运营商对接的带宽普遍是1T、2T起步了,而且一般如果发展互联带宽负载超过了30%到50%,就需要扩容


很多人提到了CDN,CDN不能从根本上解决这个带宽问题,CDN只能从运营商网络路由层面上解决一定的拥塞问题。不论是腾讯、百度还是抖音、YY,解决游戏、视频大带宽的问题都是从数据中心网络基础架构解决,都是采用类似的技术,也就是DCN和DCI相关的技术

欢迎分享,转载请注明来源:艾迪网

原文地址:http://iiiiidea.com/douyin/383814ehz7.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-08-08
下一篇2022-08-08

发表评论

登录后才能评论

评论列表(0条)

    保存