分布式原理:MapReduce的用法以及环境 MapReduce的用法:MapReduce是最常用的分布式计算框架,他源于函数式编程语言的Map和Reduce方法。 简单来说,map就是并行运算给所有的item打标签,reduce是把这些标签汇总的过程。 步骤: 1. 由系统一行一行读取信息并输入Map函数 2. Map处理kv键值对,经过一些算法之后输出一个intermediate kv键值对 3. (可选) 由combiner对本地的m 2022-01-13 CS硕士课程
学习笔记:数据库原理CH11.事务 这一章,比较简单,先来看看ACID 再来看看事务的状态 管理事务的有 Transaction Manager–保证consistency Scheduler-用于concurrency control Recovery Manager-用于restore the database Scheduler1、Serial execution 2、Parallel execution—concurr 2021-06-02 CS硕士课程
学习笔记:数据库原理CH10.优化sql 一条sql处理的过程: 翻译query—query compiler 优化query—query optimiser 最后执行—command processor 几个概念: query cost:得到答案的时间 --大部分被disk access time 决定 先来看selection 操作: 如果没有index:linear search 和 binary search 有index: 2021-06-02 CS硕士课程
学习笔记:数据库原理CH9.访问方式 说到访问 方式,肯定就是索引了,索引index就是一种能支持我们快速查找数据的数据结构,可以说embedded 也可以是外置的一个index file 有两种index: 1、ordered indices 2、hash indices 其中ordered indices 又分为 clustering index,就是查出来的是一个tuple non-clustering index,查出来的是 2021-06-01 CS硕士课程
学习笔记:数据库原理CH8.存储管理 首先先来看一下存储的架构: 首先看到的就是Cache,也就是数据库的缓存,是最快的一个拿取数据的地方,缓存当然要考虑一个缓存刷入的问题。 之后是主内存,主内存这里要知道的是他是Random access的,RAM 之后是Secondary Storage,一般是硬盘,这里就有两种,机械硬盘和SSD 一般会在硬盘的一个区域设置buffer,跟缓存是一个道理的东西,可以理解为硬盘内部的缓存 然后 2021-06-01 CS硕士课程
学习笔记:数据库原理CH7.DBMS DBMS包括: 1、DML preprocessor 2、Query compiler 3、DDL compiler 4、Catalogue manager 5、Database manager 其中 Database manager 又包括: 1、Authorisation control 2、Command processor 3、Integrity checker 4、Query opti 2021-05-31 CS硕士课程
学习笔记:数据库原理CH6.ad SQL 权限管理: Triggers: 触发器(Trigger)是与表有关的数据库对象,是一种特殊的存储过程,在满足定义条件时触发,并执行触发器中定义的语句集合。 2021-05-31 CS硕士课程
学习笔记:数据库原理CH4.关系数据库设计 两种设计路线: 各种关系的处理,直接上ppt 标准化: 有许多范式,Normal Form 第一范式:原子性(all attri are atomic) 第二范式: 介绍之前,先介绍一些functionnal dependencies 就是attr 决定 attr A relation schema R is in second normal form (2NF) if it is i 2021-05-31 CS硕士课程
学习笔记:数据库原理CH3.关系代数 先介绍了一下如何把model变成表 外键: 别的表里的主键,放这个表里就是外键 为什么要避免外键? 1、会大幅降低数据库的性能 2、导致增删表变得麻烦 关系代数: 2021-05-31 CS硕士课程