Python中三个不常见但是很有用的数据科学库
如果你过去一直在构建一些有监督的机器学习模型，你就会知道目标变量中的类别不平衡可能是一个大问题。这是因为在少数类中没有足够的例子来让算法学习模式。一个解决方案是创建一些合成样本，通过使用例如SMOTE(合成少数群体过采样技术)来增加少数群体类的
数据开发，怎么平衡效率与质量
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计
浅谈大数据风控平台的功能需要
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗
大数据集群开启 kerberos 认证后 Hive 作业执行败北
进一步排查问题，需要 在理解作业的底层执行机制的基础上， 大胆猜想，小心求证。HIVE 作业的执行机制如下：终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业，经过 HIVESERVER2 的解析编译和优化后，一般会生成 MR/TEZ/SPARK 任务(之所以说一般，是因
怎样使用技术解决方案做出数据驱动的决策
数据驱动决策示例(1)推动亚马逊公司的销售亚马逊公司的零售部门根据消费者以前的购买和搜索活动，利用数据确定向消费者推荐哪些商品。亚马逊公司的推荐引擎是由机器学习和人工智能引导的，并不是向消费者随意推荐产品。根据麦肯锡公司的调查，2017年亚马逊
阿里云揭秘开源大数据十年演进之路，并开源两款AI项目
近日，2021云栖大会开源大数据与AI行业实践论坛上，阿里巴巴开源委员会副主席、阿里云开源大数据平台负责人王峰首次公开阿里云开源大数据技术的十年演进之路。同时，经历阿里巴巴自身业务千锤百炼的两款AI神兵宣布开源大规模稀疏模型训练引擎DeepRec和多模
Kafka运维你是真的懂数据迁移吗？
kafka运维】副本扩缩容、数据迁移、副本重分配、副本跨路径迁移脚本参数参数 描述 例子 –zookeeper 连接zk –zookeeper localhost:2181, localhost:2182 –topics-to-move-json-file 指定json文件,文件内容为topic配置 –topics-to-move-json-file config/
观点依法依规，巩固汽车数据安全处理防线
近年来，智能汽车产业快速发展。2021年7月发布的《中国互联网发展报告（2021）》显示，2020年我国智能网联汽车销量为303.2万辆，同比增长107%。随着新一代信息技术与汽车产业加速融合，智能汽车作为新的移动终端，进行网络连接、数据收集与处理成为业界热议
立足产业发展，创建车联网数据安全体系
汽车智能化与网联化已成为汽车产业转型升级的必然方向，在把握新机遇、构建新生态的同时，数据滥采滥用、敏感个人信息泄露、控车类数据被篡改、重要数据跨境传输等数据安全问题不仅是汽车产业发展机遇期面临的全新挑战，更是数字化时代国家总体安全的重要组
在云迁移期间提高数据安全性的七个步骤
2020年，仅在美国就发生了1001起重大的数据泄露事件。在当今的市场中，数据成为所有行业最重要的资产。无论企业将其数据迁移到云平台上还是内部部署服务器，都必须不惜一切代价保护这些资产。不幸的是，在云迁移过程中，有时数据是脆弱的。根据Keepnet实验
