热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

九年双十一互联网技术超级工程阅读笔记(1)

参考:《九年双11:互联网技术超级工程》1.17年双十一,达到了每秒32.5万笔的交易创建峰值和每秒25.6万笔的支付成功峰值。全球商业、科技、数据、智能的大协同,是一个商业社会的大协同,

参考:《九年双11:互联网技术超级工程》
1. 17年双十一,达到了每秒32.5万笔的交易创建峰值和每秒25.6万笔的支付成功峰值。全球商业、科技、数据、智能的大协同,是一个商业社会的大协同,更是一个技术的大协同,是名副其实的世界互联网技术的超级工程。
2. 今年数据智能、机器智能已经融入到整个系统的每一个方面。整个商品推荐、整个交易链路、整个决策都是用机器智能来做的。(鲁班智能设计系统、智能客服系统、推荐系统、系统保障部分、智能音箱天猫精灵)
3. 阿里搜索技术(AI),4个方面:系统、搜索应用、性能优化、排序平台化
4. 搜索系统和算法:离线平台ODPS、离线机器学习平台PAI、流式计算和在线学习平台Porsche、在线服务平台
5. 系统进展:机器学习平台和在线预测平台(搜索排序算分服务)。
6. 算法:智能交互(商品搜索是带交互的商品推荐,还有商品推荐(关键字推荐))、语义搜索、智能匹配、搜索策略
7. 语义搜索(解决关键字和商品内容之间的语义鸿沟):query tagging和改写、query改写、商品内容和语义标签、语义匹配
8. 智能匹配。这里主要是指个性化和排序:ibrain(深度用户感知网络)、多模学习(淘宝商品有文本、图像、标签、id、品牌、类目、店铺及统计特征)、deepfm、在线深度排序模型、全局排序、基于用户和商品向量的向量召回引擎
9. 阿里巴巴人工智能搜索应用的未来计划:通用用户表征学习、搜索链路联合优化、跨场景联合优化、多目标联合优化、智能交互
10. 数据库如何实现极致弹性能力:数据库上云、数据库弹性调度(计算机网络部分的知识)、双11数据库混部技术
11. 新一代数据库。由商业数据库—>去IOE—>研发出阿里MySQL分支AliSQL和分布式中间件TDDL—>X-DB(新一代数据库技术)
12. X-DB核心技术:高性能Paxos基础库X-paxos、Batching&Pipelining、异步化提交
13. 数据库在双11中的黑科技: X-KV(基于官方MySQL Memcached plugin的增强)
14. 实时计算。双十一大屏(其中之一GMV大屏)、实时机器学习(两个重要组件Feature和Model)、实时A/B Testing
15. Blink及Flink:Blink Runtime、Flink SQL
16. 前端架构体系:行业制定层、context层、渠道层、消息层、业务组件层、View层、客户端定制层这里写图片描述


推荐阅读
  • 【论文】ICLR 2020 九篇满分论文!!!
    点击上方,选择星标或置顶,每天给你送干货!阅读大概需要11分钟跟随小博主,每天进步一丢丢来自:深度学习技术前沿 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • sklearn数据集库中的常用数据集类型介绍
    本文介绍了sklearn数据集库中常用的数据集类型,包括玩具数据集和样本生成器。其中详细介绍了波士顿房价数据集,包含了波士顿506处房屋的13种不同特征以及房屋价格,适用于回归任务。 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • Learning to Paint with Model-based Deep Reinforcement Learning
    本文介绍了一种基于模型的深度强化学习方法,通过结合神经渲染器,教机器像人类画家一样进行绘画。该方法能够生成笔画的坐标点、半径、透明度、颜色值等,以生成类似于给定目标图像的绘画。文章还讨论了该方法面临的挑战,包括绘制纹理丰富的图像等。通过对比实验的结果,作者证明了基于模型的深度强化学习方法相对于基于模型的DDPG和模型无关的DDPG方法的优势。该研究对于深度强化学习在绘画领域的应用具有重要意义。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 前言:拿到一个案例,去分析:它该是做分类还是做回归,哪部分该做分类,哪部分该做回归,哪部分该做优化,它们的目标值分别是什么。再挑影响因素,哪些和分类有关的影响因素,哪些和回归有关的 ... [详细]
  • 在本教程中,我们将看到如何使用FLASK制作第一个用于机器学习模型的RESTAPI。我们将从创建机器学习模型开始。然后,我们将看到使用Flask创建AP ... [详细]
  • Django + Ansible 主机管理(有源码)
    本文给大家介绍如何利用DjangoAnsible进行Web项目管理。Django介绍一个可以使Web开发工作愉快并且高效的Web开发框架,能够以最小的代价构建和维护高 ... [详细]
  • 本文介绍了操作系统的定义和功能,包括操作系统的本质、用户界面以及系统调用的分类。同时还介绍了进程和线程的区别,包括进程和线程的定义和作用。 ... [详细]
  • 本文介绍了贝叶斯垃圾邮件分类的机器学习代码,代码来源于https://www.cnblogs.com/huangyc/p/10327209.html,并对代码进行了简介。朴素贝叶斯分类器训练函数包括求p(Ci)和基于词汇表的p(w|Ci)。 ... [详细]
  • 建立分类感知器二元模型对样本数据进行分类
    本文介绍了建立分类感知器二元模型对样本数据进行分类的方法。通过建立线性模型,使用最小二乘、Logistic回归等方法进行建模,考虑到可能性的大小等因素。通过极大似然估计求得分类器的参数,使用牛顿-拉菲森迭代方法求解方程组。同时介绍了梯度上升算法和牛顿迭代的收敛速度比较。最后给出了公式法和logistic regression的实现示例。 ... [详细]
  • 数据结构与算法的重要性及基本概念、存储结构和算法分析
    数据结构与算法在编程领域中的重要性不可忽视,无论从事何种岗位,都需要掌握数据结构和算法。本文介绍了数据结构与算法的基本概念、存储结构和算法分析。其中包括线性结构、树结构、图结构、栈、队列、串、查找、排序等内容。此外,还介绍了图论算法、贪婪算法、分治算法、动态规划、随机化算法和回溯算法等高级数据结构和算法。掌握这些知识对于提高编程能力、解决问题具有重要意义。 ... [详细]
  • cs231n Lecture 3 线性分类笔记(一)
    内容列表线性分类器简介线性评分函数阐明线性分类器损失函数多类SVMSoftmax分类器SVM和Softmax的比较基于Web的可交互线性分类器原型小结注:中文翻译 ... [详细]
author-avatar
合约100年
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有