parser working, needs more tests and an actual language to make sure that is true though
This commit is contained in:
herbglitch
parent
63dfb98aad
commit
606f8e4bad
10 changed files with 365 additions and 148 deletions
|
|
@ -12,28 +12,28 @@ ARC_TEST(Lexer_Char_Match){
|
|||
|
||||
ARC_Lexer_LexString(lexer, &simple);
|
||||
|
||||
ARC_LexerToken token;
|
||||
ARC_LexerToken *token;
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 0);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_COLON_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_COLON_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 1);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_COLON_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_COLON_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 2);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_LEFT_CURLY_BRACE_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_LEFT_CURLY_BRACE_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 3);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_RIGHT_CURLY_BRACE_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_RIGHT_CURLY_BRACE_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 4);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_BANG_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_BANG_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 5);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_FORWARD_SLASH_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_FORWARD_SLASH_ID);
|
||||
|
||||
token = ARC_Lexer_GetToken(lexer, 6);
|
||||
ARC_CHECK(token.rule == ARC_LEXER_TOKEN_PERIOD_ID);
|
||||
ARC_CHECK(token->rule == ARC_LEXER_TOKEN_PERIOD_ID);
|
||||
|
||||
ARC_Lexer_Destroy(lexer);
|
||||
}
|
||||
|
|
|
|||
|
|
@ -1,7 +1,9 @@
|
|||
#include "../test.h"
|
||||
#include "arc/std/errno.h"
|
||||
#include "arc/std/parser.h"
|
||||
#include "arc/std/lexer.h"
|
||||
#include "arc/std/parser/parserlang.h"
|
||||
#include <stddef.h>
|
||||
|
||||
#define LAMBDA ARC_PARSER_TAG_LAMBDA
|
||||
#define CHAR ARC_LEXER_TOKEN_ALPHALOWERCHAR
|
||||
|
|
@ -10,6 +12,73 @@
|
|||
#define VARIABLE_NAME 24
|
||||
#define VARIABLE 25
|
||||
|
||||
void TEST_ParserLanguageTag_CreateStringFn(void **data){
|
||||
ARC_String_Create((ARC_String **)data, NULL, 0);
|
||||
}
|
||||
|
||||
void TEST_ParserLanguageTag_DestroyStringFn(void *data){
|
||||
ARC_String_Destroy((ARC_String *)data);
|
||||
}
|
||||
|
||||
//for this very basic example, the tagId does not matter
|
||||
void TEST_ParserLanguageTag_AddFirstCharFn(void **data, uint32_t tagId, ARC_LexerToken *token){
|
||||
if(*data == NULL){
|
||||
return;
|
||||
}
|
||||
|
||||
ARC_String *tokenData = NULL;
|
||||
ARC_String_Copy(&tokenData, token->data);
|
||||
ARC_String_Append(&tokenData, *data);
|
||||
ARC_String_Destroy(*data);
|
||||
*data = tokenData;
|
||||
}
|
||||
|
||||
//for this very basic example, the tagId does not matter
|
||||
void TEST_ParserLanguageTag_AddCharFn(void **data, uint32_t tagId, ARC_LexerToken *token){
|
||||
if(*data == NULL){
|
||||
return;
|
||||
}
|
||||
|
||||
ARC_String_Append((ARC_String **)data, token->data);
|
||||
}
|
||||
|
||||
uint32_t *charOrNumTokens[] = { (uint32_t[]){ 1, CHAR }, (uint32_t[]){ 1, NUM } };
|
||||
uint32_t *variableNameTags[] = { (uint32_t[]){ 2, CHAR_OR_NUM, VARIABLE_NAME }, (uint32_t[]){ 1, LAMBDA } };
|
||||
uint32_t *variableTokensOrTags[] = { (uint32_t[]){ 2, CHAR, VARIABLE_NAME } };
|
||||
|
||||
//TODO: note how language function callbacks work, and how they use the parentData if createDataFn is NULL
|
||||
ARC_ParserData_CreateFn createStringFn = TEST_ParserLanguageTag_CreateStringFn;
|
||||
ARC_ParserData_DestroyFn destroyStringFn = TEST_ParserLanguageTag_DestroyStringFn;
|
||||
|
||||
ARC_ParserLanguageTag_AddDataFn addCharFn = TEST_ParserLanguageTag_AddCharFn;
|
||||
ARC_ParserLanguageTag_AddDataFn addFirstCharFn = TEST_ParserLanguageTag_AddFirstCharFn;
|
||||
|
||||
ARC_ParserLanguageTag testTags[3] = {
|
||||
{
|
||||
VARIABLE, //tagId
|
||||
variableTokensOrTags, //tokensOrTags
|
||||
1, //tokenOrTagsSize
|
||||
&addFirstCharFn //addDataFn
|
||||
},
|
||||
{
|
||||
VARIABLE_NAME, //tagId
|
||||
variableNameTags, //tokensOrTags
|
||||
2, //tokenOrTagsSize
|
||||
NULL, //addDataFn
|
||||
},
|
||||
{
|
||||
CHAR_OR_NUM, //tagId
|
||||
charOrNumTokens, //tokensOrTags
|
||||
2, //tokenOrTagsSize
|
||||
&addCharFn //addDataFn
|
||||
}
|
||||
};
|
||||
|
||||
ARC_Array languageArray = {
|
||||
3, //size
|
||||
testTags //data
|
||||
};
|
||||
|
||||
void TEST_Parser_InitLexerRulesFn(ARC_Lexer *lexer){
|
||||
ARC_Lexer_InitBasicTokenRules(lexer);
|
||||
}
|
||||
|
|
@ -17,33 +86,7 @@ void TEST_Parser_InitLexerRulesFn(ARC_Lexer *lexer){
|
|||
ARC_TEST(Parser_Init){
|
||||
ARC_Parser *parser;
|
||||
|
||||
uint32_t *charOrNumTokens[] = { (uint32_t[]){ 1, CHAR }, (uint32_t[]){ 1, NUM } };
|
||||
uint32_t *variableNameTags[] = { (uint32_t[]){ 2, CHAR_OR_NUM, VARIABLE_NAME }, (uint32_t[]){ 1, LAMBDA } };
|
||||
uint32_t *variableTokensOrTags[] = { (uint32_t[]){ 2, CHAR, VARIABLE_NAME } };
|
||||
ARC_ParserLanguageTag testTags[3] = {
|
||||
{
|
||||
VARIABLE, //tagId
|
||||
variableTokensOrTags, //tokensOrTags
|
||||
1 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
VARIABLE_NAME, //tagId
|
||||
variableNameTags, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
CHAR_OR_NUM, //tagId
|
||||
charOrNumTokens, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
}
|
||||
};
|
||||
|
||||
ARC_Array languageArray = {
|
||||
3, //size
|
||||
testTags //data
|
||||
};
|
||||
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn);
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn, NULL, NULL);
|
||||
|
||||
ARC_Parser_Destroy(parser);
|
||||
|
||||
|
|
@ -53,37 +96,11 @@ ARC_TEST(Parser_Init){
|
|||
ARC_TEST(Parser_Basic_Parse){
|
||||
ARC_Parser *parser;
|
||||
|
||||
uint32_t *charOrNumTokens[] = { (uint32_t[]){ 1, CHAR }, (uint32_t[]){ 1, NUM } };
|
||||
uint32_t *variableNameTags[] = { (uint32_t[]){ 2, CHAR_OR_NUM, VARIABLE_NAME }, (uint32_t[]){ 1, LAMBDA } };
|
||||
uint32_t *variableTokensOrTags[] = { (uint32_t[]){ 2, CHAR, VARIABLE_NAME } };
|
||||
ARC_ParserLanguageTag testTags[3] = {
|
||||
{
|
||||
VARIABLE, //tagId
|
||||
variableTokensOrTags, //tokensOrTags
|
||||
1 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
VARIABLE_NAME, //tagId
|
||||
variableNameTags, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
CHAR_OR_NUM, //tagId
|
||||
charOrNumTokens, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
}
|
||||
};
|
||||
|
||||
ARC_Array languageArray = {
|
||||
3, //size
|
||||
testTags //data
|
||||
};
|
||||
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn);
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn, NULL, NULL);
|
||||
ARC_String *tempString;
|
||||
|
||||
|
||||
//first variable test
|
||||
/* ~ first test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "myvar1");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
|
|
@ -92,7 +109,7 @@ ARC_TEST(Parser_Basic_Parse){
|
|||
ARC_CHECK(arc_errno == 0);
|
||||
|
||||
|
||||
//second variable test
|
||||
/* ~ second test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "z1xwvq");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
|
|
@ -101,7 +118,7 @@ ARC_TEST(Parser_Basic_Parse){
|
|||
ARC_CHECK(arc_errno == 0);
|
||||
|
||||
|
||||
//third variable test
|
||||
/* ~ third test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "z1234");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
|
|
@ -110,7 +127,7 @@ ARC_TEST(Parser_Basic_Parse){
|
|||
ARC_CHECK(arc_errno == 0);
|
||||
|
||||
|
||||
//fourth variable test
|
||||
/* ~ fourth test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "aaaaa");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
|
|
@ -119,44 +136,19 @@ ARC_TEST(Parser_Basic_Parse){
|
|||
ARC_CHECK(arc_errno == 0);
|
||||
|
||||
|
||||
/* ~ cleanup ~ */
|
||||
ARC_Parser_Destroy(parser);
|
||||
}
|
||||
|
||||
ARC_TEST(Parser_Basic_ParseError){
|
||||
ARC_Parser *parser;
|
||||
|
||||
uint32_t *charOrNumTokens[] = { (uint32_t[]){ 1, CHAR }, (uint32_t[]){ 1, NUM } };
|
||||
uint32_t *variableNameTags[] = { (uint32_t[]){ 2, CHAR_OR_NUM, VARIABLE_NAME }, (uint32_t[]){ 1, LAMBDA } };
|
||||
uint32_t *variableTokensOrTags[] = { (uint32_t[]){ 2, CHAR, VARIABLE_NAME } };
|
||||
ARC_ParserLanguageTag testTags[3] = {
|
||||
{
|
||||
VARIABLE, //tagId
|
||||
variableTokensOrTags, //tokensOrTags
|
||||
1 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
VARIABLE_NAME, //tagId
|
||||
variableNameTags, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
},
|
||||
{
|
||||
CHAR_OR_NUM, //tagId
|
||||
charOrNumTokens, //tokensOrTags
|
||||
2 //tokenOrTagsSize
|
||||
}
|
||||
};
|
||||
|
||||
ARC_Array languageArray = {
|
||||
3, //size
|
||||
testTags //data
|
||||
};
|
||||
|
||||
//TODO: remove this
|
||||
arc_errno = 0;
|
||||
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn);
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn, NULL, NULL);
|
||||
|
||||
ARC_String *tempString;
|
||||
|
||||
|
||||
/* ~ first test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "!myVar1");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
|
|
@ -164,6 +156,8 @@ ARC_TEST(Parser_Basic_ParseError){
|
|||
|
||||
ARC_CHECK(arc_errno == ARC_ERRNO_DATA);
|
||||
|
||||
|
||||
/* ~ second test ~ */
|
||||
//check again with moved character
|
||||
arc_errno = 0;
|
||||
ARC_String_CreateWithStrlen(&tempString, "my!Var1");
|
||||
|
|
@ -173,6 +167,8 @@ ARC_TEST(Parser_Basic_ParseError){
|
|||
|
||||
ARC_CHECK(arc_errno == ARC_ERRNO_DATA);
|
||||
|
||||
|
||||
/* ~ third test ~ */
|
||||
//check again with moved character
|
||||
arc_errno = 0;
|
||||
ARC_String_CreateWithStrlen(&tempString, "myVar1!");
|
||||
|
|
@ -182,12 +178,39 @@ ARC_TEST(Parser_Basic_ParseError){
|
|||
|
||||
ARC_CHECK(arc_errno == ARC_ERRNO_DATA);
|
||||
|
||||
|
||||
/* ~ cleanup ~ */
|
||||
ARC_Parser_Destroy(parser);
|
||||
|
||||
//reset for next test
|
||||
arc_errno = 0;
|
||||
}
|
||||
|
||||
ARC_TEST(Parser_Basic_GetParsedValue){
|
||||
ARC_Parser *parser;
|
||||
|
||||
ARC_Parser_Create(&parser, &languageArray, TEST_Parser_InitLexerRulesFn, &createStringFn, &destroyStringFn);
|
||||
|
||||
ARC_String *tempString;
|
||||
|
||||
|
||||
/* ~ first test ~ */
|
||||
ARC_String_CreateWithStrlen(&tempString, "myvar1");
|
||||
|
||||
//this destroys string, so no need for cleanup
|
||||
ARC_Parser_Parse(parser, &tempString);
|
||||
|
||||
ARC_CHECK(arc_errno == 0);
|
||||
|
||||
ARC_String *checkValue = (ARC_String *)ARC_Parser_GetData(parser);
|
||||
ARC_CHECK(ARC_String_EqualsCStringWithStrlen(checkValue, "myvar1"));
|
||||
|
||||
|
||||
/* ~ cleanup ~ */
|
||||
ARC_Parser_Destroy(parser);
|
||||
}
|
||||
|
||||
|
||||
ARC_TEST(Parser_ParserLang_BasicTest){
|
||||
ARC_Parser *parser;
|
||||
ARC_Parser_CreateAsParserLang(&parser);
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue