feat: generate unified AST and editor contracts from ASDL
Verify databases and deploy Aster VM / verify-and-deploy (push) Successful in 7m55s

This commit is contained in:
2026-10-19 14:31:28 +08:00
parent be4f1add58
commit f5268d2e09
40 changed files with 2517 additions and 172 deletions
+2 -2
View File
@@ -6,6 +6,6 @@
| --- | --- |
| Cargo.toml | cli 二进制与 core/frontend/host 依赖;无 storage 或 Tokio 依赖 |
| [src](src/README.md) | 参数路由、引导演示、文件/stdin 阅读、源码解析和退出码 |
| [tests](tests/README.md) | parse 命令的 AST 输出、错误位置和严格 UTF-8 检查 |
| [tests](tests/README.md) | parse 命令的 AST/JSON 输出、解析模式、错误位置和严格 UTF-8 检查 |
运行方式见 [运行指南](../../docs/operations/README.md),输入边界见 [配置](../../docs/operations/configuration.md)。parse 通过 EndorReader 严格读取 UTF-8 文件或 `-` 指定的 stdin 并输出 AST,不执行源码,见 [前端](../../docs/runtime/frontend.md);metadata put/get 和只导入缺失项的 import 均使用文件,见 [宿主信息](../../docs/operations/host-information.md)。返回 [工作区](../README.md)。
运行方式见 [运行指南](../../docs/operations/README.md),输入边界见 [配置](../../docs/operations/configuration.md)。parse 通过 EndorReader 严格读取 UTF-8 文件或 `-` 指定的 stdin 并输出 AstRoot;--mode 选择 module/expression/interactive,--json 输出带 schema 的 AST JSON,不执行源码,见 [前端](../../docs/runtime/frontend.md);metadata put/get 和只导入缺失项的 import 均使用文件,见 [宿主信息](../../docs/operations/host-information.md)。返回 [工作区](../README.md)。
+1 -1
View File
@@ -2,6 +2,6 @@
[main.rs](main.rs) 是唯一入口:同步 main 将 run 的结果转成进程退出码;run 处理 bootstrap、parse 文件/stdin、help、文件 metadata put/get/import,错误打印到 stderr 并返回失败。
bootstrap 创建并显式释放两个对象,不读取数据库环境、不打开数据库。parse 使用 EndorReader 和 parse_source 输出 AST;`-` 从 stdin 读到 EOF,来源为 `<stdin>`。词法/语法错误显示来源、行、列;不创建 VM 或执行源码。未知命令报错;metadata 通过 host::MetadataStore 读写文件,import 从标准输入接收旧记录且不覆盖已有文件。参数目前由 std::env::args 读取,非 Unicode 参数可能 panic,边界见 [配置](../../../docs/operations/configuration.md)。
bootstrap 创建并显式释放两个对象,不读取数据库环境、不打开数据库。parse_command 使用 EndorReader 和 parse_source_ast 输出 AstRoot;--mode 选择 module/expression/interactive(默认 module),--json 通过 AstDocument 输出 JSON,格式见 [AST 模型](../../../docs/runtime/ast.md);`-` 从 stdin 读到 EOF,来源为 `<stdin>`。词法/语法错误显示来源、行、列;不创建 VM 或执行源码。未知命令报错;metadata 通过 host::MetadataStore 读写文件,import 从标准输入接收旧记录且不覆盖已有文件。参数目前由 std::env::args 读取,非 Unicode 参数可能 panic,边界见 [配置](../../../docs/operations/configuration.md)。
新增命令时更新用法、[运行指南](../../../docs/operations/README.md) 和 [smoke.py 的导航](../../../scripts/README.md)。返回 [cli](../README.md)。
+39 -11
View File
@@ -2,10 +2,11 @@ use std::error::Error;
use std::process::ExitCode;
use endor_core::{Value, Vm};
use frontend::{EndorReader, parse_source};
use frontend::ast::AstDocument;
use frontend::{EndorReader, ParseMode, parse_source_ast};
use host::MetadataStore;
const USAGE: &str = "Usage: cli [bootstrap | parse <file|-> | metadata put <key> <value> | metadata get <key> | metadata import | help]";
const USAGE: &str = "Usage: cli [bootstrap | parse [--mode module|expression|interactive] [--json] <file|-> | metadata put <key> <value> | metadata get <key> | metadata import | help]";
fn main() -> ExitCode {
match run() {
@@ -46,15 +47,7 @@ fn run() -> Result<(), Box<dyn Error>> {
println!("bootstrap uses no database");
}
["help"] | ["--help"] | ["-h"] => println!("{USAGE}"),
["parse", path] => {
let source = if *path == "-" {
EndorReader::from_stream("<stdin>", std::io::stdin().lock())?
} else {
EndorReader::from_file(path)?
};
let program = parse_source(&source)?;
println!("{program:#?}");
}
["parse", arguments @ ..] => parse_command(arguments)?,
["metadata", "put", key, value] => {
MetadataStore::from_env()?.put(key, value)?;
println!("stored (file)");
@@ -76,3 +69,38 @@ fn run() -> Result<(), Box<dyn Error>> {
}
Ok(())
}
fn parse_command(arguments: &[&str]) -> Result<(), Box<dyn Error>> {
let mut mode = ParseMode::Module;
let mut json = false;
let mut path = None;
let mut arguments = arguments.iter().copied();
while let Some(argument) = arguments.next() {
match argument {
"--json" => json = true,
"--mode" => {
mode = match arguments.next() {
Some("module") => ParseMode::Module,
Some("expression") => ParseMode::Expression,
Some("interactive") => ParseMode::Interactive,
_ => return Err(USAGE.into()),
}
}
value if !value.starts_with("--") && path.is_none() => path = Some(value),
_ => return Err(USAGE.into()),
}
}
let path = path.ok_or(USAGE)?;
let source = if path == "-" {
EndorReader::from_stream("<stdin>", std::io::stdin().lock())?
} else {
EndorReader::from_file(path)?
};
let root = parse_source_ast(&source, mode)?;
if json {
println!("{}", AstDocument::new(root)?.to_json()?);
} else {
println!("{root:#?}");
}
Ok(())
}
+1 -1
View File
@@ -1,5 +1,5 @@
# CLI 命令检查
[parse.rs](parse.rs) 使用 Cargo 提供的 cli 测试二进制检查 parse 命令:合法 UTF-8 源码输出 AST 且不执行名称调用;非法语法输出文件/行/列并返回失败;非法 UTF-8 不替换字符;`parse -` 检查 stdin 输入、EOF 和带流名的错误。
[parse.rs](parse.rs) 使用 Cargo 提供的 cli 测试二进制检查 parse 命令:合法 UTF-8 源码输出 AST 且不执行名称调用;非法语法输出文件/行/列并返回失败;非法 UTF-8 不替换字符;`parse -` 检查 stdin 输入、EOF 和带流名的错误;--json/--mode 检查表达式与交互根、schema 标识以及非法模式退出。
测试仅在 ces-control 的工作区检查中运行,本地不执行。测试临时文件使用独立名称并在结束时清理。返回 [cli](../README.md),验证约定见 [验证](../../../docs/operations/validation.md)。
+32
View File
@@ -105,3 +105,35 @@ fn parse_command_reads_stdin_to_eof_and_reports_its_origin() {
.contains("<stdin>: invalid UTF-8 at byte 0")
);
}
#[test]
fn parse_command_exports_versioned_json_for_expression_and_interactive_inputs() {
for (mode, source) in [("expression", "f(\"日\")"), ("interactive", "let x = 1")] {
let source = SourceFile::new(source.as_bytes());
let output = Command::new(env!("CARGO_BIN_EXE_cli"))
.args(["parse", "--json", "--mode", mode])
.arg(&source.0)
.output()
.unwrap();
assert!(
output.status.success(),
"{}",
String::from_utf8_lossy(&output.stderr)
);
let document =
frontend::ast::AstDocument::from_json(std::str::from_utf8(&output.stdout).unwrap())
.unwrap();
assert_eq!(document.schema, frontend::ast::AST_SCHEMA_ID);
match (mode, document.root) {
("expression", frontend::ast::AstRoot::Expression(_))
| ("interactive", frontend::ast::AstRoot::Interactive(_)) => {}
_ => panic!("incorrect parse mode"),
}
}
let output = Command::new(env!("CARGO_BIN_EXE_cli"))
.args(["parse", "--mode", "unknown", "-"])
.output()
.unwrap();
assert!(!output.status.success());
assert!(output.stdout.is_empty());
}