营销-SEO-头部优化文字

400-928-0260

上海AG亚游集团信息科技股份有限公司

AG亚游集团动态
首页 > AG亚游集团动态 > AG亚游集团活动

AG亚游集团科技WebRTC沙龙掠影,探索音视频直播交互新可能

2017-07-06 12:19:01

风水轮流转,互联网风口转得飞快。娱乐应用方面,短视频隐隐盖过了直播的风头。


之所以加个隐隐,是因为话题度有所降低的直播,却具备点播形式难以替代的价值,比如一言不合就连麦。


图片关键词

……


抛开主播翻牌不说。这项音视频实时交互技术在视频聊天、在线会议、远程医疗、在线教育、互联网安防监控方面大有可为。


基于此,AG亚游集团科技日前在上海主办了第一届WebRTC技术沙龙。来自掌门集团、Tutorabc、哒哒英语、游密的20多名技术专家和AG亚游集团科技相关技术团队一起,围绕音视频直播交互主题进行了热烈的讨(zheng)论(chao)和分(xuan)享(ji)。


图片关键词

那么,为什么是WebRTC?


关于WebRTC


全称: Web browser Real Time Communication


这项技术最初是谷歌2010年以6820万美元收购Global IP Solutions(GIPS)公司而获得的,它使得Web中的实时通讯成为可能,是一项能够在浏览器内部进行实时音频和视频通信的技术。


特点:

 

是基于浏览器的实时音视频(数据)通信技术

免插件

开源

已被W3C纳入HTML5标准

跨平台,跨浏览器,跨移动应用

兼容Mac OSX、Windows、iOS、Android、Linux

Google的推动

 

当浏览器实现对应音视频组件后,开发者可以容易地通过JS API 实现他们自己的RTC web 应用。


在实际应用中,WebRTC提供了视频会议的核心技术,包括音视频的采集、编解码、网络传输、显示等功能。


WebRTC 架构:


图片关键词


WebRTC中的任何的一个技术点都具备充分讨论和探索的意义,作为专注于为客户提供完整网络解决方案的AG亚游集团科技当然不会错过。本次沙龙,主要探讨了视频图像滤镜和算法,P2P穿透率提高,多人视频/音频服务器优化策略等。


部分成果展示


议题:视频图像滤镜和算法


方案:


简单的美颜,滤镜都是对整张图片进行图像处理, 手机端一般使用gpu来处理。


一般都是对现有的滤镜进行整合和修改,比较流行的开源项目, gpuimage。 提供很多滤镜供选择, 高斯:, 亮度调整等。


挂件功能需要识别人脸, 以及识别鼻子耳朵眼镜等关键点,开源库, opencv。


高级挂件功能基于2D图形建立人脸3D模型,贴3D纹理。


议题: P2P提高穿透率讨论


方案:


在WebRTC标准框架内,有以下措施可以提高穿透成功率:


配置多个ICE server。


通过STUN server预先探测客户端ISP,在应用层避免跨ISP的P2P连接尝试。


通过STUN server预先探测客户端NAT类型,优先让锥形NAT侧的客户端发起PeerConnection offer请求。


议题:多人视频/音频 服务器优化策略


方案:


服务端多人音视频策略一般选择在服务端做多路音视频的转发、混音、混频功能,媒体服务器将同一个房间的多路流进行解码,得到PCM和YUV数据,再将PCM混音和YUV混屏操作,最后媒体服务器将混合后的音视频转发出去。


此方案优点是服务端可以处理各种业务逻辑,减轻客户端压力保证客户端媒体流收发各一路;缺点是有一定的延迟性。


现场直击


图片关键词

大咖分享

图片关键词

热烈讨论和提问

图片关键词

AG亚游集团技术团队的Domo展示



图片关键词

手绘构架(攻城狮的蜜汁画风)

图片关键词

双屏互动,增强实时互动

图片关键词

沙龙全程视频直播,直播参与人数接近200人,另外沙龙相关讨论群中,也实时进行文字互动,群内讨论气氛浓厚,提问踊跃。


现场冷餐:

图片关键词



基础技术能够衍生出无数的实用形态,WebRTC更是如此。

 

借助WebRTC技术,人类有史以来第一次可以在全球范围的点到点之间非常便利地、非常低成本地进行实时数据交互和沟通。

 

AG亚游集团科技WebRTC技术沙龙不仅是一次有益探索,更显示了大家对这一技术的认可和期待。未来,AG亚游集团科技希望与更多开发者一起,深入探索、精诚合作,探索音视频领域前沿技术发展,发掘出WebRTC之上的更多价值。

 

更多技术碰撞正在路上,关注AG亚游集团,一起期待!