Add token-based PEG frontend and CLI source parsing
Verify databases and deploy Aster VM / verify-and-deploy (push) Successful in 7m30s

This commit is contained in:
2026-10-19 02:48:23 +08:00
parent e24909a56e
commit 0b3a480555
36 changed files with 1146 additions and 33 deletions
+1
View File
@@ -11,6 +11,7 @@ path = "src/main.rs"
[dependencies]
core.workspace = true
frontend.workspace = true
host.workspace = true
[lints]
+5 -4
View File
@@ -1,10 +1,11 @@
# cli
同步命令行宿主,提供 bootstrap、help 和文件 metadata 命令。bootstrap 演示两个运行时对象并释放,不读取数据库配置、不连接或写入数据库。
同步命令行宿主,提供 bootstrap、parse、help 和文件 metadata 命令。bootstrap 演示两个运行时对象并释放,不读取数据库配置、不连接或写入数据库。
| 内容 | 职责 |
| --- | --- |
| Cargo.toml | cli 二进制与 core/host 依赖;无 storage 或 Tokio 依赖 |
| [src](src/README.md) | 参数路由、引导演示和退出码 |
| Cargo.toml | cli 二进制与 core/frontend/host 依赖;无 storage 或 Tokio 依赖 |
| [src](src/README.md) | 参数路由、引导演示、源码解析和退出码 |
| [tests](tests/README.md) | parse 命令的 AST 输出、错误位置和严格 UTF-8 检查 |
运行方式见 [运行指南](../../docs/operations/README.md),输入边界见 [配置](../../docs/operations/configuration.md)。当前不是 Endor 源码解释命令,metadata put/get 和只导入缺失项的 import 均使用文件,见 [宿主信息](../../docs/operations/host-information.md)。返回 [工作区](../README.md)。
运行方式见 [运行指南](../../docs/operations/README.md),输入边界见 [配置](../../docs/operations/configuration.md)。parse 严格读取 UTF-8 文件并输出 AST,不执行源码,见 [前端](../../docs/runtime/frontend.md);metadata put/get 和只导入缺失项的 import 均使用文件,见 [宿主信息](../../docs/operations/host-information.md)。返回 [工作区](../README.md)。
+2 -2
View File
@@ -1,7 +1,7 @@
# CLI 入口
[main.rs](main.rs) 是唯一入口:同步 main 将 run 的结果转成进程退出码;run 处理 bootstrap、help、文件 metadata put/get/import,错误打印到 stderr 并返回失败。
[main.rs](main.rs) 是唯一入口:同步 main 将 run 的结果转成进程退出码;run 处理 bootstrap、parse 文件、help、文件 metadata put/get/import,错误打印到 stderr 并返回失败。
bootstrap 创建并显式释放两个对象,不读取数据库环境、不打开数据库。未知命令报错;metadata 通过 host::MetadataStore 读写文件,import 从标准输入接收旧记录且不覆盖已有文件。参数目前由 std::env::args 读取,非 Unicode 参数可能 panic,边界见 [配置](../../../docs/operations/configuration.md)。
bootstrap 创建并显式释放两个对象,不读取数据库环境、不打开数据库。parse 使用 frontend 输出 AST,词法/语法错误显示文件、行、列;不创建 VM 或执行源码。未知命令报错;metadata 通过 host::MetadataStore 读写文件,import 从标准输入接收旧记录且不覆盖已有文件。参数目前由 std::env::args 读取,非 Unicode 参数可能 panic,边界见 [配置](../../../docs/operations/configuration.md)。
新增命令时更新用法、[运行指南](../../../docs/operations/README.md) 和 [smoke.py 的导航](../../../scripts/README.md)。返回 [cli](../README.md)。
+13 -1
View File
@@ -4,7 +4,7 @@ use std::process::ExitCode;
use endor_core::{Value, Vm};
use host::MetadataStore;
const USAGE: &str = "Usage: cli [bootstrap | metadata put <key> <value> | metadata get <key> | metadata import | help]";
const USAGE: &str = "Usage: cli [bootstrap | parse <file> | metadata put <key> <value> | metadata get <key> | metadata import | help]";
fn main() -> ExitCode {
match run() {
@@ -45,6 +45,18 @@ fn run() -> Result<(), Box<dyn Error>> {
println!("bootstrap uses no database");
}
["help"] | ["--help"] | ["-h"] => println!("{USAGE}"),
["parse", path] => {
let source =
std::fs::read_to_string(path).map_err(|error| format!("{path}: {error}"))?;
let program = frontend::parse(&source).map_err(|error| {
let location = error.location(&source);
format!(
"{path}:{}:{}: {}",
location.line, location.column, error.message
)
})?;
println!("{program:#?}");
}
["metadata", "put", key, value] => {
MetadataStore::from_env()?.put(key, value)?;
println!("stored (file)");
+5
View File
@@ -0,0 +1,5 @@
# CLI 命令检查
[parse.rs](parse.rs) 使用 Cargo 提供的 cli 测试二进制检查 parse 命令:合法 UTF-8 源码输出 AST 且不执行名称调用;非法语法输出文件/行/列并返回失败;非法 UTF-8 不替换字符。
测试仅在 ces-control 的工作区检查中运行,本地不执行。测试临时文件使用独立名称并在结束时清理。返回 [cli](../README.md),验证约定见 [验证](../../../docs/operations/validation.md)。
+67
View File
@@ -0,0 +1,67 @@
use std::path::PathBuf;
use std::process::Command;
use std::sync::atomic::{AtomicUsize, Ordering};
static NEXT_FILE: AtomicUsize = AtomicUsize::new(0);
struct SourceFile(PathBuf);
impl SourceFile {
fn new(content: &[u8]) -> Self {
let path = std::env::temp_dir().join(format!(
"aster-parse-{}-{}.endor",
std::process::id(),
NEXT_FILE.fetch_add(1, Ordering::Relaxed)
));
std::fs::write(&path, content).unwrap();
Self(path)
}
}
impl Drop for SourceFile {
fn drop(&mut self) {
let _ = std::fs::remove_file(&self.0);
}
}
#[test]
fn parse_command_prints_ast_without_executing_source() {
let source = SourceFile::new("function 表示(): String { return 未定義() }".as_bytes());
let output = Command::new(env!("CARGO_BIN_EXE_cli"))
.arg("parse")
.arg(&source.0)
.output()
.unwrap();
assert!(
output.status.success(),
"{}",
String::from_utf8_lossy(&output.stderr)
);
let stdout = String::from_utf8(output.stdout).unwrap();
assert!(stdout.contains("表示"));
assert!(stdout.contains("未定義"));
assert!(stdout.contains("Call"));
}
#[test]
fn parse_command_reports_source_locations_and_rejects_invalid_utf8() {
let source = SourceFile::new(b"function f(): Number {\n return )\n}");
let output = Command::new(env!("CARGO_BIN_EXE_cli"))
.arg("parse")
.arg(&source.0)
.output()
.unwrap();
assert!(!output.status.success());
assert!(output.stdout.is_empty());
let stderr = String::from_utf8(output.stderr).unwrap();
assert!(stderr.contains(":2:10:"), "{stderr}");
assert!(stderr.contains("expected"));
let source = SourceFile::new(&[0xff]);
let output = Command::new(env!("CARGO_BIN_EXE_cli"))
.arg("parse")
.arg(&source.0)
.output()
.unwrap();
assert!(!output.status.success());
assert!(output.stdout.is_empty());
}