print("正在查看作者档案…")
while i <= 101:
print("{}%已准备完毕".format(i))
i+=10
print("所有程序准备就绪，启动、启动、启动！")
import mysql.connector
// 连接到MySQL数据库
config = {
'user': 'M.E.G.',
'password': '',
'host': 'localhost',
'database': 'M.E.G.authorbase'
}
cnx = mysql.connector.connect(config)
// 创建游标对象
cursor = cnx.cursor()
// 查询Lustroit404写的文章
query = ("SELECT * FROM The_article_created_by_Lustroit404")
cursor.execute(query)
// 读取查询结果
for (score, comment) in cursor:
print("{}, {}, {}".format(score, comment, date))
// 关闭游标和连接
cursor.close()
cnx.close()
// 查询Lustroit404的其他作品
query = ("SELECT * FROM The_others_created_by_Lustroit404")
cursor.execute(query)
// 读取查询结果
for (score, comment) in cursor:
print("{}, {}, {}".format(score, comment, date))
// 关闭游标和连接
cursor.close()
cnx.close()
===
更多页面
===
其它作品
目前暂无
+10000 … 10000
最新评论：无
最新编辑：无
===
可爱又痴迷于数学的Lustroit404
宇宙是如此的广阔，
知识也浩瀚无比。
计算机科学更是知识中的重要模块，
又得从小开始。
是时候了。
进入后室的童年B面，
回到8岁的夏天，机器人陪伴着你，
你躺在地板上，吃完西瓜，
转个身就跃入了旁边的小河，
在水面上仰泳，笑着，闹着，
望向了璀璨的星空，期待着未来。
生存难度：生存難度：
等级等級 Lustroit404
- 五年级
- 小学生
- 幼年实体横行
我是谁
Lustroit404，基于Lustrous和404演绎而来，精通机器学习、数据挖掘、深度学习，熟悉Hive、MySQL、Spark，略懂Flink、Kafka的一个小孩（实际是大学生）
最喜欢写5级及以下生存难度的，不喜欢死区层级和无解层级的，描写了风险适中的区间C-165X的；致力于用童年的视角、计算机视角来描绘层级的Lustroit404。
写作PLANS
重写Level C-659：当事者是一对兄弟而非单名流浪者，HTML/CSS/JS不直接点出。
重写Level C-1657，流浪者的身体越胖通道会越发狭窄。
写Level C-1659，未开放路网上的车队总是那么的不计代价，流浪者便是车队中最弱的那个。
写Level C-1653，一个红矮星行星下不断冷却的城市。
BYD除了1652以外没一个够打的是吧，看来不能单写点子风暴了。
今天的Spark-SQL又加载慢了，图上又少了一个节点
Lustroit404在今年的六一儿童节之前把Level C-1652和Level C-1652.7肝出来，无论学业压力如何。因为这两篇文是越写越爽的，也是为了让读者们越读越爽的。
Lustroit404
我的心情状态
今天终于配好WSL1的图形界面啦！欧耶
2025年2月24日
Spark跑通了，run-example和spark-shell运行正常
2025年2月25日
Spark的编写还是Python熟悉一点，Scala可能会疯
2025年3月5日
MD最近安装Scala和Java的Spark依赖，都要疯掉，如果不自己启动就查不到Maven的依赖包
2025年3月11日
Flume和Kafka的集成还在搞，不想用Scala，想用Python（乐死）
2025年3月20日
Maven的依赖包依靠远程仓库是不靠谱的，有时候得你自己去下载一个移到Maven的本地仓库里（乐死）。比较好的方式是去Maven官网下一个对应的JAR，在本地仓库配置文件夹，这样用Scala就阻碍少很多了。
2025年3月22日
技术闲聊
关于hive4.0以后的更新如下：hive4.0丢了hive-cli，默认beeline，要使用需要用jdbc驱动链接metastore,随后用预制的密码和用户登录，才能执行相关操作。Hive 4.0可以不开启多台电脑的高可用，但最好还是开一个。建议使用MySQL，有时也可以用postgresql，但需要先下载对应jar在放到hive目录的lib下方。
2025年3月22日
Spark读文件的代码：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("你的文件")
.config("Spark.master","local[6]")
.getOrCreate() 创建会话
val textFileDF = spark.read.text("file:/mnt/c/你的文件.txt") 想读取csv或者parquet可以换
textFileDF.show()
2025年3月22日
kafka的配置与启动：
kafka的配置一般是进入你的kafka文件夹，然后对以下三个bin文件进行配置：
bin/producer.properties
bin/consumer.properties
bin/server.properties
对于producer要做以下配置：
metadata.broker.list=[你的账户]:[你的端口]
对于consumer和server做以下配置：
zookeeper.connect=[你的账户]:[你的端口]
除此之外，在server中要加：
broker.id=[]
创建消息队列：
kafka-topics.sh —topic <topic> —bootstrap-server <你的端口> —replication-factor <num(低于你的broker数)> —partition <num>
查看消息队列：
kafka-console-consumer.sh —topic <topic> —bootstrap-server <你的端口>
2025年3月25日
spark的调优：
防倾斜三大招：
UUID/HASH前缀，通常在不要求保留时间序列特征、数据顺序、维度表联查或者延迟敏感的实时计算场景下完成。
from pyspark.sql import SparkSession
from pyspark.sql.functions import uuid
初始化SparkSession
spark = SparkSession.builder.appName("uuid_example").getOrCreate()示例DataFrame
data = [("Alice", 1), ("Bob", 2), ("Carol", 3)]
columns = ["name", "age"]
df = spark.createDataFrame(data, schema=columns)添加UUID列
df_with_uuid = df.withColumn("uuid", uuid())
df_with_uuid.show()除此之外，还包括预先聚合和增加并行度的方式，此处不予赘述。
内存调优
可选参数如下：
spark.storage.memoryfraction=<num(0,1)>spark.shuffle.memoryfraction=<num(0,1)>
2025年5月31日
shuffle类型：Hash,Sort
两种洗牌方式：Hash随机对Map Task洗牌，Sort会把Task
排序/分类后洗牌
这两种洗牌的适用场景不一样，hash随便洗，常用于小数据
Spark计算比MapReduce快的原因：落盘次数少，
MapReduce每算一步就要落盘一次。
Spark4.0支持的内容：Kryo序列化查询，向量化查询，这
两个会加速spark内存计算的速度。
2025年6月20日
— 就这样，我走了。
去数据库和算法了。