大数据案例分析复习-大学的最后一门考试
写在前面这是大学的最后一门考试课,在今天复习的时候,发生了很多事情,这将会永远被历史铭记。
@Author:CQYN
大数据案例分析名词解释维度建模维度建模是数据仓库建设中的一种数据建模方法,是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。
数据仓库数据仓库,英文名称为Data Warehouse。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
数据集市数据集市,也叫数据市场。数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。
ETLETL,是英文Extract-Transform-Load的缩写,用于描述将数据从来源端经过抽取、转换、加载至目的端的过程。ETL一词常用在数据仓库,但其对象并不限于数据仓库。
大数据可视化大数据可视化是在大数据时代对海量数据的可视化表示的一种科学技术研究。
数据类型
结构化数据
结构化数据(有时候被称为关系数据),遵循某种严格架构的数据,因此所有数据都具有相同的字段或属性。
半结构化数据
非关系模型的,有基本 ...
2022年9月至11月总结
漫长的路已经很久没有写过博客了,在这里扯几句闲言碎语,就去睡觉。
数据科学与大数据技术毕业实习
写在前面瑞吉外卖的基础框架已经搭建好了,在这个基础之上,进行优选的开发。
负责的模块我所负责的模块是:
用户端的登录、登出
短信的发送
用户地址簿
实现内容用户端的登录需求分析为了方便用户登录,移动端通常都会提供通过手机验证码登录的功能。手机验证码登录有如下优点:
方便快捷,无需注册,直接登录
使用短信验证码作为登陆凭证,无需记忆密码
安全性高
登录流程:
输入手机号->获取验证码->输入验证码->点击登录->登陆成功
注意:通过手机验证码登录,手机号是区分不同用户的标识
数据模型通过手机验证码登录时,涉及的表为 user 表,即用户表。结构如下:
前端页面分析在开发代码之前,需要梳理一下登录时前端页面和服务端的交互过程:
登录页面(front/page/login.html)输入手机号,点击【获取验证码】按钮,页面发送 ajax 请求,在服务端调用短信服务 API 给指定手机号发送验证码短信。
在登录页面输入验证码,点击【登录】按钮,发送 ajax 请求,在服务端处理登录请求。
如果服务端返回的登录成功,页面将会把当前登录用户的手机号存储 ...
数据科学与大数据技术毕业实习(二)
Day01课程内容
软件开发整体介绍
瑞吉外卖项目介绍
开发环境搭建
后台登录功能开发
后台退出功能开发
完善登录功能
1. 软件开发整体介绍作为一名软件开发工程师,我们需要了解在软件开发过程中的开发流程, 以及软件开发过程中涉及到的岗位角色,角色的分工、职责, 并了解软件开发中涉及到的三种软件环境。那么这一小节,我们将从 软件开发流程、角色分工、软件环境 三个方面,来整体上介绍一下软件开发。
1.1 软件开发流程
点击查看每个阶段具体情况1). 第 1 阶段: 需求分析完成产品原型、需求规格说明书的编写。产品原型,一般是通过网页(html)的形式展示当前的页面展示什么样的数据, 页面的布局是什么样子的,点击某个菜单,打开什么页面,点击某个按钮,出现什么效果,都可以通过产品原型看到。需求规格说明书, 一般来说就是使用 Word 文档来描述当前项目有哪些功能,每一项功能的需求及业务流程是什么样的,都会在文档中描述。2). 第 2 阶段: 设计设计的内容包含 产品设计、UI 界面设计、概要设计、详细设计、数据库设计。在设计阶段,会出具相关的 UI 界面、及相关的设计文档。比如数据库设计, ...
数据科学与大数据技术毕业实习(一)
写在前面今天是2022.9.19,黑马程序员开课,一共两周左右的时间,在这里记录一下学习的过程。
技术栈简介maven: 自动下载 jar,从中央仓库 (国外,全球所有公开的jar)。
Day1需求2:书写一个请求
书写一个请求,用来接收浏览器发起的get请求,如:https://localhost:8080/books/2
在idea控制台输出,参数接受情况
在访问后,返回数据,显示在页面上。
代码:
~~~javapackage com.example.demo.controller;
import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;
import java.util.ArrayList;import java.util.List;
//标明是控制层,用来接收前端数据@RestController//前端请求本类时,需要加一个前缀,ip/books@RequestMapp ...
无领导小组面试
写在前面今天是9.14,面试云和恩墨。(已通过)
云和恩墨
自我介绍:
面试官你好,大家好,我叫胡雅宁,就读于湖南科技大学,专业是数据科学与大数据技术。我的优势有三点,第一,我的情绪很稳定,可以在压力下保持工作的正常推进。第二,我有比较敏锐的数据直觉。第三,我善于分析与总结。今天非常高兴认识大家。
宣读:
我们现在是执行部门,集团通知我们更换办公大楼,讨论我们如何施工,如何分工
项目目标
更换办公大楼,A->B。经济方面的因素
项目周期(3-6个月)
公司迁移前
公司迁移中
公司迁移后
评估工作
项目的实施流程
通知公司的全体员工,告诉搬迁时间和日期,告诉公司员工要注意的事项
联系新旧大楼的工作
项目风险以及预案(我负责的部分)
预案:
搬运前:办公楼选址不当,公司内有相当一部声音不满意:提前设计几套目标方案,供大家参考选择。
搬运前:中介可能会言过其实,新地点的基础设施可能并不完善:派人实地考察公司地点,以防被骗。
搬运中:办公楼租金临时涨价:至少保证两个可选目标地址,这样有和客户谈判的筹码。如果实在只有一种选择,那么就向领导请示更多的预算。
搬运中:搬运途 ...
大数据分析项目之Spark-Streaming实时处理数据(Scala版)
写在前面今天改bug改到早晨六点,然后九点多睡觉,睡到下午三点,起来等了一个小时,点了一份外卖,南北故事的韭菜炒猪肝还有四季豆炒肉。吃完,投了几份简历,然后出去逛了逛,看到有招聘,索性去了一教502,参加BYD线下宣讲会,到了才发现,他改到了503.我以为有现场面试,没想到依然是先网申,然后明天简历筛选,后天就能面试了。回来,去了一趟酒吧,本想着喝口酒就醉了,有个规律作息,没想到点了个无醇酒,一瓶18rmb,还寻思今天攒攒钱,也没攒下来。回到家,老王说帮我弄一下这个项目,结果我俩都在python这一块折了,老王劝我用scala试一下,如果这个还不行,就用老杨的服务器跑,毕竟配置花了太多时间了。
Spark Streaming实时处理数据(python版本)编程思想本案例在于实时统计每秒中男女生购物人数,而Spark Streaming接收的数据为1,1,0,2…,其中0代表女性,1代表男性,所以对于2或者null值,则不考虑。其实通过分析,可以发现这个就是典型的wordcount问题,而且是基于Spark流计算。女生的数量,即为0的个数,男生的数量,即为1的个数。
因此利用Spark ...
面试指南之互联网企业
写在前面本节八股文是有针对性的重点练习
对HR/技术面试官之反问
能不能谈谈你作为一个老员工对公司的感受?
我觉得我这次表现得不是很好,你有什么建议或者评价给我吗?
公司对新入职的员工的培养机制是什么样的?
以您来看,这个岗位未来在公司内部的发展如何?
团队现在面临的最大的挑战是什么?
青岛乾程List的遍历方式有哪些?
普通循环
增强for循环
iterator遍历
谈谈你对AOP和IOC的理解
AOP是面向切面编程。
IOC是控制反转
中科创达什么是封装?封装是指把一个对象的状态信息(也就是属性)隐藏在对象内部,不允许外部对象直接访问对象的内部信息。但是可以提供一些可以被外界访问的方法来操作属性。
怎么打破一个类的封装?通过继承
怎样得到封装后对象的方法属性?通过内置函数来访问。任何要访问类中私有成员变量的类都要通过这些getter和setter方法。
抽象类和接口区别和共同点?区别:
接口中的成员变量只能是 public static final 类型的,不能被修改且必须有初始值,而抽象类的成员变量默认 default,可在子类中被重新定义,也可被重新赋值。
一个类只能继 ...
大数据分析项目之Spark Streaming实时处理数据
写在前面今天投了中建的很多建立,过了中建八局的一测,二测考了61分,希望能如愿进入面试。
Spark Streaming实时处理数据(python版本)编程思想本案例在于实时统计每秒中男女生购物人数,而Spark Streaming接收的数据为1,1,0,2…,其中0代表女性,1代表男性,所以对于2或者null值,则不考虑。其实通过分析,可以发现这个就是典型的wordcount问题,而且是基于Spark流计算。女生的数量,即为0的个数,男生的数量,即为1的个数。
因此利用Spark Streaming接口reduceByKeyAndWindow,设置窗口大小为1,滑动步长为1,这样统计出的0和1的个数即为每秒男生女生的人数。
编程实现配置Spark开发Kafka环境如果之前没有学习过Spark和Kafka的组合使用方法,建议先阅读厦门大学数据库实验室博客文章《Spark2.1.0入门:Apache Kafka作为DStream数据源》。下面主要介绍配置Spark开发Kafka环境。首先点击下载spark-streaming-kafka,下载Spark连接Kafka的代码库。
因为我是基 ...
大数据项目之数据处理和Python操作Kafka
写在前面昨天是中秋节,休息了一天,和老王楠姐去密室逃脱完了一局,玩的是不恐怖的本,但里面的氛围还是很阴森。从密室逃脱出来之后,吃了小炒黄牛肉,一共有四个菜,小炒黄牛肉、芋头蒸排骨、炒花菜、脆皮豆腐。小炒黄牛肉没有放辣椒,吃起来味道很不错。其中最辣的一道菜是脆皮豆腐,我没吃几口。炒花菜里面的油渣好吃,我吃了很多。吃完就去的helens,点了一扎果啤,虽然叫果啤,但对我来说还是有度数,三四杯下肚,头就晕晕的,红色的血管在脸上扩张,有种狼狈的醉意。隔壁桌有人来问我们的戒指是不是粉色的,这是个活动,每一桌都有一种颜色的戒指,如果两桌颜色的戒指一样,就可以去前台兑换啤酒。来了两桌人问,最后来的那一桌和我们的颜色是一样的,我就去和他们桌的一个人去兑换啤酒了。去的途中知道,那个人是中南林科大的,从长沙来湘潭玩。我们这桌一共是三个人,一人一瓶啤酒,拿来了三瓶。我们喝完了一扎果啤,就把兑换来的倒进果啤扎里面去了,因为里面还有很多冰块,可以喝到冰爽的啤酒。喝酒的过程,我们前期主要在玩手机,我投了一份方太的简历。我们聊到考研,觉得这件事本身并不难,难的是坚持下去,这个过程十分枯燥。后期,我们三个玩骰子,就这 ...