- 博客(101)
- 收藏
- 关注
RSS订阅转载 Go 开发关键技术指南 | 为什么你要选择 GO？（内含超全知识大图）
导读：从问题本身出发，不局限于 Go 语言，探讨服务器中常常遇到的问题，最后回到 Go 如何解决这些问题，为大家提供 Go 开发的关键技术指南。我们将以系列文章的形式推出《Go 开发的关键技术指南》，共有 4 篇文章，本文为第 1 篇。Go 开发指南大图Overview该指南主要讨论了服务器领域常见的并发问题，也涉及到了工程化相关的问题，还整理了 C 背景程序员对于 Go 的 GC 以...
2019-12-31 16:54:00
134
转载 PouchContainer 容器技术演进助力阿里云原生升级
我们从 2016 年开始在集团推广全面的镜像化容器化，今年是集团全面镜像化容器化后的第 4 个 双11，PouchContainer 容器技术已经成为集团所有在线应用运行的运行时底座和运维载体，每年 双11 都有超过百万的 PouchContainer 容器同时在线，提供电商和所有相关的在线应用平稳运行的载体，保障大促购物体验的顺滑。我们通过 PouchContainer 容器运行时这一层标准构...
2019-12-31 16:21:12
108
转载 快速搭建 Serverless 人脸识别离线服务
简介首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）：函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考函数工作流（Function Flow）：函数工作流是一个用来协调多个分布式任务执行...
2019-12-31 15:51:43
330
转载 移植 Python 量化交易 TA-Lib 库到函数计算
TA-Lib，全称“Technical Analysis Library”, 即技术分析库，是 Python 金融量化的高级库，涵盖了 150 多种股票、期货交易软件中常用的技术分析指标，如 MACD、RSI、KDJ、动量指标、布林带等等。TA-Lib 可分为 10 个子板块： Overlap Studies(重叠指标) Momentum Indicators(动量指标) Volume ...
2019-12-31 15:19:08
477
转载 从零开始入门 K8s | Kubernetes 调度和资源管理
Kubernetes 调度过程首先来看第一部分 - Kubernetes 的调度过程。如下图所示，画了一个很简单的 Kubernetes 集群架构，它包括了一个 kube-ApiServer，一组 Web-hook Controllers，以及一个默认的调度器 kube-Scheduler，还有两台物理机节点 Node1 和 Node2，分别在上面部署了两个 kubelet。我们来看一下，假...
2019-12-31 14:43:45
167
转载 Kubernetes 下零信任安全架构分析
简介零信任安全最早由著名研究机构 Forrester 的首席分析师约翰.金德维格在 2010 年提出。零信任安全针对传统边界安全架构思想进行了重新评估和审视，并对安全架构思路给出了新的建议。其核心思想是，默认情况下不应该信任网络内部和外部的任何人/设备/系统，需要基于认证和授权重构访问控制的信任基础。诸如 IP 地址、主机、地理位置、所处网络等均不能作为可信的凭证。零信任对访问控制进行了范式上...
2019-12-30 17:08:05
495
转载 嗖的一下！只要一条命令，K8s监控数据一键写入时序数据库
这里的“快速”有多快呢？一条命令就能搞定！本文就介绍如何使用helm一键完成k8s监控数据到阿里云InfluxDB®的存储链路。关于helm对于helm的安装和使用，网上有很多资料，这里不赘述。有一点需要注意，虽然近期helm 3已经发布，但短期内不是所有的helm chart都兼容helm 3，比如社区的这个issue。本文依然使用helm 2来安装。准备这里假设用户已经在阿里云购...
2019-12-30 16:34:18
155
转载 2020将至，谈谈中小企业创业的那些事儿
2019正迎来尾声，在创业这场轰轰烈烈的旅途中，有的人名利双收，有的人饱受非议。一入创业深似海，在创业赛道上，很多公司完成了从0到1，却死在从1到100的路上。而小程序的出现，让移动互联网创业走向低门槛。正如小程序权威机构阿拉丁的创始人史文禄在2019全球小程序生态大会所说，“2019年至少有23家小程序的DAU突破了1千万，在2020年至少会有100家小程序单日DAU突破1千万。” 小程序首次进...
2019-12-30 16:04:49
133
转载 在 Flink 算子中使用多线程如何保证不丢数据？
分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以每次调用 api 比较耗时。假如批次大小为 50，且请求接口的平均响应时间为 50ms，使用同步 a...
2019-12-30 15:33:48
560
转载 日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践
导读：当今生活节奏日益加快，企业面对不断增加的海量信息，其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化，企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验，甚至引发了用户流失。在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构建统一的数据资产，如 ID-Mapping、用户标签等。友信金服用户画像项目...
2019-12-30 15:03:45
325
转载 Java编码技巧之高效代码50例
导读世界上只有两种物质：高效率和低效率；世界上只有两种人：高效率的人和低效率的人。——萧伯纳同理，世界上只有两种代码：高效代码和低效代码；世界上只有两种人：编写高效代码的人和编写低效代码的人。如何编写高效代码，是每个研发团队都面临的一个重大问题。所以，作者根据实际经验，查阅了大量资料，总结了"Java高效代码50例"，让每一个Java程序员都能编写出"高效代码"。1.常量&变量...
2019-12-27 17:39:35
539
转载 考拉海购技术支持的前世今生
本文来自考拉海购技术支持中心负责人--书渊的分享，想和大家聊一聊考拉技术支持的前世今生，在这个发展历程的介绍当中，大家也可以此对考拉窥一斑而知全豹。当然，既然是聊我们的家常(“黑历史”)，我会从这几年在考拉供应链产品事业部的视角去讲述(请轻拍~~)，并且，也不会就很多过往事项留恋于细致的介绍，只讲下大面上的东西。技术支持的由来和定位技术支持由来其实电商公司或者说考拉这个 BG ，刚开始成立时...
2019-12-27 17:05:28
197
转载 跑的好好的 Java 进程，怎么突然就瘫痪了
内存回收一直是 Java的痛点用 Java 无法做出类似 Redis 这样的产品。Java 的内存回收机制使我们在编写代码时不需要关注对象的回收，同时加大了内存回收的消耗，标记复制需要做内存拷贝，标记清除算法则需要 stop the world 。所以我们在使用缓存的时候，量稍微大一些就需要借助类似 Redis 这样的中间件帮我们处理了。作为 Javaer ，我们享受了自动内存回收的安逸，同时也...
2019-12-27 16:34:59
92
转载 Dubbo 如何成为连接异构微服务体系的最佳服务开发框架
从编程开发的角度来说，Apache Dubbo （以下简称 Dubbo ）首先是一款 RPC 服务框架，它最大的优势在于提供了面向接口代理的服务编程模型，对开发者屏蔽了底层的远程通信细节。同时 Dubbo 也是一款服务治理框架，它为分布式部署的微服务提供了服务发现、流量调度等服务治理解决方案。在这篇文章中，我们将以以上基础能力为背景，尝试突破 Dubbo 体系自身，探索如何利用 Dubbo 对多...
2019-12-27 16:02:29
503
转载 微服务治理实践：如何对单点异常进行自动摘除
直播回顾：点击这里微服务架构下，稳定性和高可用性一个永恒的话题，在实际的治理过程中，我们有可能会遇到以下场景： 某个应用灰度发布，先上了几台机器，由于代码逻辑写的有问题，造成线程池满，出现运行异常。 服务端集群中，某几台机器由于磁盘满，或者是宿主机资源争抢导致 load 过高，客户端出现调用超时。 服务端集群中，某几台机器由于线程池满，造成 Full Garbage Collection...
2019-12-27 15:32:21
299
转载 盘点阿里巴巴 15 款开发者工具
从人工到自动化，从重复到创新，技术演进的历程中，伴随着开发者工具类产品的发展。阿里巴巴将自身在各类业务场景下的技术积淀，通过开源、云上实现或工具等形式对外开放，本文将精选了一些阿里巴巴的开发者工具，希望能帮助开发者们提高开发效率、更优雅的写代码。由于开发者涉及的技术领域众多，笔者仅从自己熟悉的领域，以后端开发者的视角盘点平时可能用得到的工具。每个工具按照以下几点进行介绍： 工具名称和简介...
2019-12-26 17:12:59
105
转载 千万创业者的自白：踩过坑才明白这些真相！
“大众创业、万众创新”的浪潮正兴，随着国家对自主创业扶持力度的加强，中国的初创企业正在蓬勃发展，据统计，最近五年中国新注册的公司约有3000万家。而另一方面，在轰轰烈烈的创业大潮中，市场竞争指数也急速上升，今年1月至9月，中国初创企业的融资额较上年同期下降了46%。在竞争如此激烈的大环境下，唯有更加高效、高质的数字化办公，才是企业突出重围的不二法门。尤其是对中小企业来说，必须时刻保持业务创新，灵...
2019-12-26 16:42:11
180
转载 【科普】TLS1.3如此强大！我们如何迎接它？
HTTPS 时代已经来临，而新一代安全传输协议TLS1.3的普及会大大提升HTTP连接速度的性能，消除HTTPS使用性能上的担忧，助推HTTPS进一步应用落地。早在去年，阿里云CDN HTTPS就已经全面支持TLS1.3，鼓励用户逐步升级到更安全、性能更佳的TLS1.3，帮助终端获得更好的访问体验。本文由阿里云CDN技术专家林胜恩（啸坤）为你详细揭秘TLS1.3的发展历程、特性以及应用。一、TL...
2019-12-26 16:10:54
842
转载 Struct复杂数据类型的UDF编写、GenericUDF编写
一、背景介绍：MaxCompute 2.0版本升级后，Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型，同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型，以及Writable参数。Java UDF使用复杂数据类型的方法，STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.od...
2019-12-26 15:39:53
694
转载 实战课堂 | 让大数据分析更简单，4步教你玩转MongoDB BI Connector
MongoDB使用BI Connector支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB,在早期MongoDB直接使用Postgresql FDW实现 SQL到MQL的转换,后来实现更加轻量级的mongosqld支持BI工具的连接。安装 BI Connector参考 Install BI Connectorhttps://docs.mongodb.com/b...
2019-12-25 17:15:56
206
转载 万字干货 | 每秒7亿次请求，阿里新一代数据库如何支撑？
导读Lindorm，就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库，集大规模、高吞吐、快速灵活、实时混合能力于一身，面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前，Lindorm已经全面服务于阿里经济体中的大数据结构化、半结构化存储场景。注：Lindorm是阿里内部HBa...
2019-12-25 16:38:44
383
转载 阿里云发布智能账单功能,让你免费拥有专属的“云产品 消费账单管家”
2019年12月18日，阿里云宣布AI智能账单分析功能“成本管家”正式上线，这是国内云厂商首次把数据智能技术与账单系统结合，推出的正式产品。让用户从低效的账单获取、整理和分析的工作中解放出来。让AI为用户整理账单、预测未来的消费趋势以及挖掘异常账单。帮助用户能够更好地管理费用支付，优化成本。据介绍，成本管家是日志服务（SLS）产品内置的新功能，主打面向账单分析的场景。成本管家能实时从账单中心拉取...
2019-12-25 16:09:20
251
转载 可闭环、可沉淀、可持续的企业级数据赋能体系
以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下两个方面：一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景二、开发者数据银行一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景1.数据“四化”如何让属于企业自己的不同触点的数据快速形成一个闭环，沉淀串联这些零散的数据能够快速应用去赋能业务？这涉及到四个关键词，一是业务数据化，企业所有触点是否为真，是否被打通。第二...
2019-12-25 15:43:58
475
转载 案例解读|迁云的灵魂3问，降多少本，增多少效，真平滑否？
近年来，在线教育产业发展十分迅速，在线教育真正打破了时间和空间的限制，使得学员可以随时随地学习，预期2020年将有超过3000亿的市场规模。随着行业不断成熟，国家政策的规范发展使得在线教育的发展进入调整期，烧钱获客的模式不再持续，在兼顾业务发展的同时要注意成本控制。 那就需要注意两大问题。一是服务器资源作为IT基础设施支出的头部预算，如何合理利用服务器资源，按需扩容，节省人力维护成本是关键。第...
2019-12-25 15:12:40
92
转载 Serverless 实战——使用 Rendertron 搭建 Headless Chrome 渲染解决方案
为什么需要 Rendertron？传统的 Web 页面，通常是服务端渲染的，而随着 SPA（Single-Page Application） 尤其是 React、Vue、Angular 为代表的前端框架的流行，越来越多的 Web App 使用的是客户端渲染。使用客户端渲染有着诸多优势，比如节省后端资源、局部刷新、前后端分离等等，但也带来了一些挑战，比如本文要解决的 SEO 问题。对于服务端渲...
2019-12-24 17:30:40
182
转载 从零开始入门 K8s | etcd 性能优化实践
本文整理自《CNCF x Alibaba 云原生技术公开课》第 17 讲。导读：etcd 是容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色，接受了 双11 大压力的检验。本文作者从 etcd 性能背景出发，带领我们了解了 etcd server 端性能优化及 etcd client 使用最佳实践，希望能...
2019-12-24 17:02:07
285
转载 State Processor API：如何读取，写入和修改 Flink 应用程序的状态
过去无论您是在生产中使用，还是调研Apache Flink，估计您总是会问这样一个问题：我该如何访问和更新Flink保存点（savepoint）中保存的state？不用再询问了，Apache Flink 1.9.0引入了状态处理器（State Processor）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。在这...
2019-12-24 16:35:13
203
转载 阿里云叔同：以容器为代表的云原生技术，已成为释放云价值的最短路径
2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云，完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级，容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点，剖析阿里云的容器技术演进历程，借此探析整个行业的发展趋势。以容器为代表的云原生技术，成为云时代释放云价值的最短路径过去我们常以虚拟化作为云...
2019-12-24 16:07:53
240
转载 Flink SQL 如何实现数据流的 Join？
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流...
2019-12-24 15:38:49
465
转载 仅1年GitHub Star数翻倍，Flink 做了什么？
Apache Flink 是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上，阿里巴巴资深技术专家，实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进，阿里对 Flink 社区的贡献以及...
2019-12-23 17:06:42
189
转载 阿里风控大脑关于大数据应用的探索与实践
以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下三个方面：一、阿里风控大脑整体介绍二、近线引擎三、离线引擎一、阿里风控大脑整体介绍1. 阿里风控大脑是什么?阿里的风控主要分为两大块。一块是金融领域，主要业务是支付宝，另一块是非金融领域，如新零售、高德、大文娱等，我们负责的主要是非金融领域。阿里风控大脑的含义较为丰富，可以有不同的解读，但基本上代表了几个方向。首先，阿里风...
2019-12-23 16:33:35
299
转载 MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxC...
2019-12-23 15:53:01
229
转载 Lyft 基于 Flink 的大规模准实时数据分析平台（附FFA大会视频）
摘要：如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面： Lyft 的流数据与场景 准实时数据分析平台和架构 平台性能及容错深入分析 ...
2019-12-23 15:14:28
136
转载 基于MaxCompute InformationSchema进行血缘关系分析
一、需求场景分析在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。二、方案设计思路MaxCompu...
2019-12-23 14:18:36
431
转载 阿里经济体大数据平台的建设与思考
本文内容根据演讲视频以及PPT整理而成。双十一！=11.11首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多的思考。从“人、货、场”的角度看待双11。首先，对于“人”而言，双11需要回答什么样的消费者会看...
2019-12-20 17:25:22
233
转载 厉害了！阿里云首批通过边缘云标准符合性测试
12月16日，第九届中国云计算标准与应用大会于北京隆重召开。大会聚焦云计算产业新阶段面临的诸多挑战与机遇，从技术标准、技术解析、应用落地等方面进行深入的解读和探讨。会上，阿里云获得由中国电子技术标准化研究院颁发的首批《边缘云标准符合性测试证书》。这是业内权威机构首次开展边缘云领域的测评认证，对于产业上下游和技术服务商具有重要指导意义，也意味着阿里云在推进边缘云领域标准化建设上更进一步。（右二...
2019-12-20 16:56:44
255
转载 边缘计算和“寒武纪”有什么关系？阿里云资深专家刘强如是说
12月12日，第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开，阿里云边缘计算产品首席架构师刘强受邀参会，并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲，分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代？“寒武纪”是6亿年前的一个时代，这个时代之前没有太多的复杂生物，但是由于“寒武纪”时代地球温度逐渐上升...
2019-12-20 16:29:44
364
转载 阿里云荣获最佳智能边缘计算技术创新平台
12月11日， 2019亚太内容分发大会暨CDN峰会在广州如期召开，大会围绕“边缘计算”为主题，探讨新技术下，全球互联网产业发展趋势。会上，国内第一，全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案，荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测，2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边缘计...
2019-12-20 15:58:20
149
转载 阿里云杨敬宇：四层技术构建基于城市场景的边缘计算
12月11日，阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示：在未来，边缘计算主要是以地市、区县为单位开展，面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算，我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年，行业应用主要是集中在消费互联网领域，在技术层面大部分采用云-端...
2019-12-20 15:30:48
294
转载 阿里云与创业者的下半程故事
近期，朋友圈刷屏的2017和2019对比图，扎了许多人的心，相信创投圈人士更是体会尤深。2018年的创业“寒冬”，一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下，国民老公王思聪的熊猫TV倒闭，P2P金融全面清退，互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”，在环境变化和商业竞争中，有人跌倒，也有人攀顶；有人停下脚步，也有人继续前行。喧嚣之中，我们更需要回归商业的本...
2019-12-19 17:09:48
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人